LXC Mappen don´t work

[tigger30926]

Hi,
I currently have a problem which should not be a problem at all.
I have added a LCX container to my proxmox and wanted to mount a ZFS storage to it.
So that I can then build a Samba share over it. I then added the following as a mount point.



But the result in the container looks like this.



Now where does the /dev/mapper/pve-root come from?
Shouldn't it have said : kpw-storage/subvol-100-disk-1

My ProxMox Config looks like this.

/etc/pve/lxc/100.conf

arch: amd64
cores: 2
features: mount=nfs;cifs,nesting=1
hostname: Fileserver-KPW-Garbsen
memory: 1024
mp0: KPW-Speicher:subvol-100-disk-1,mp=/backups,size=12000G
net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=C6:00:00:00:00:00:00,ip=dhcp,type=veth
onboot: 1
ostype: debian
parent: Start
rootfs: local-lvm:vm-100-disk-0,size=8G
swap: 1024

Of course the drive was already full after two backups, that's when I first noticed this error.

What did I do wrong? How can I correct this?

I am very grateful for every tip.

Greetings
Tigger30926

 

[tigger30926]

Too bad, has no one an idea, how we can solve the problem together?
It would be really super important for me to solve the problem.

Schade, hat denn keiner eine Idee, wie wir zusammen das Problem lösen können?
Es wäre echt super wichtig für mich das Problem zu lösen.

 

[Dunuin]

Sieht für mich soweit OK aus deine Konfig. Hatte mich nur gefragt warum du eine virtuelle Disk (was ja ein Dataset ist) mit 12 TB haben willst anstatt da einfach auf dem Host ein Dataset auf deinem Pool anzulegen, was man dann auch per bind-mount in den LXC bringen könnte. Dann hätte man auch keine feste Größe von 12TB sondern könnte einfach soviel draufschreiben wie dein Pool Platz frei hat. Und du könntest das Dataset auch an andere LXCs durchreichen, dass die ebenfalls direkt Zugriff auf das Dataset haben könnten, ohne den Umweg über SMB (und entsprechenden Netzwerk Overhead) gehen zu müssen.
Würde für mich jetzt nur Sinn machen falls du vor hast den LXC inkl der 12TB zwischen mehreren Nodes migrieren zu können.

 

[tigger30926]

Vielen Dank Dunuin
Genau das was du vorschlägst hatte ich auch vor. Habe es aber leider so nicht zum laufen gebracht.
Daher die Frage an Dich, könntest du mich hier unterstützen?
Ich möchte mein ZFS komplette für einen Windows Server Freigeben um dort Backups abzuspeichern.
Wenn du also eine bessere und effektivere Art kennst das zu bauen, dann wäre ich dir echt unendlich dankbar.



Wenn ich das so in Proxmox einbaue dann sieht das so im LXC aus.



Wo das System jetzt diese Datei herbekommen hat, verstehe ich echt nicht und warum nur 7.9 GB ?

 

[Dunuin]

Vielen Dank Dunuin
Genau das was du vorschlägst hatte ich auch vor. Habe es aber leider so nicht zum laufen gebracht.
Daher die Frage an Dich, könntest du mich hier unterstützen?
Ich möchte mein ZFS komplette für einen Windows Server Freigeben um dort Backups abzuspeichern.
Wenn du also eine bessere und effektivere Art kennst das zu bauen, dann wäre ich dir echt unendlich dankbar.

View attachment 29741

Hast du es mal ohne Lücke nach dem Komma versucht?
Und hast du den Ordner /mnt/zfs-proxmox auch vorher auf dem LXC angelegt und gehört der root?

Wenn ich das so in Proxmox einbaue dann sieht das so im LXC aus.

View attachment 29742

Wo das System jetzt diese Datei herbekommen hat, verstehe ich echt nicht und warum nur 7.9 GB ?

Das ist deine Root-Disk aus deiner Config: rootfs: local-lvm:vm-100-disk-0,size=8G

 

[tigger30926]

Nachdem ich die Config so geändert habe mp0: /KPW-Speicher/Backups,mp=/mnt/zfs-proxmox sieht das Ergebnis so aus.



Das ist aber ja auch falsch.

root müsste die Rechte im LXC Gast haben.

 

[Dunuin]

Das mit den Rechten ist nochmal eine ganz andere Sache...wenigstens wenn du einen unprivilegierten LXC benutzt. Dann ist wegen dem User-Remapping dein Root im LXC (UID 0) nämlich nicht wirklich root sondern ein unprivilegierter User mit der UID 100000 auf dem Host. Sprich: Dein Root-User im LXC hat keinerlei Zugriffsrechte für irgendetwas, was du per bind-mount in den LXC bringst.

Aber erstmal klären warum er immer "/dev/mapper/pve-root" anstatt "/KPW-Speicher/Backups" in den LXC bringt.
"/dev/mapper/pve-root" sollte dein Root-Pfad vom Host sein. Du bringst also "/" vom Host in deinen LXC. Da hast du dann nur 94GB weil deine Systempartition vom Host halt nur 94GB hat. Ist dein Dataset "KPW-Speicher/Backups" denn korrekt gemounted? Was sagt z.B. zfs get all KPW-Speicher/Backups wenn du es auf dem Host ausführst? Wie sieht dein Pool aus (zpool status)?

 

[tigger30926]

zfs get all KPW-Speicher/Backups

root@proxmox:~# zfs get all KPW-Speicher/Backups
NAME PROPERTY VALUE SOURCE
KPW-Speicher/Backups type filesystem -
KPW-Speicher/Backups creation Sat Jun 6 22:39 2020 -
KPW-Speicher/Backups used 862M -
KPW-Speicher/Backups available 13.9T -
KPW-Speicher/Backups referenced 862M -
KPW-Speicher/Backups compressratio 1.00x -
KPW-Speicher/Backups mounted no -
KPW-Speicher/Backups quota none default
KPW-Speicher/Backups reservation none default
KPW-Speicher/Backups recordsize 128K default
KPW-Speicher/Backups mountpoint /KPW-Speicher/Backups default
KPW-Speicher/Backups sharenfs off default
KPW-Speicher/Backups checksum on default
KPW-Speicher/Backups compression off default
KPW-Speicher/Backups atime on default
KPW-Speicher/Backups devices on default
KPW-Speicher/Backups exec on default
KPW-Speicher/Backups setuid on default
KPW-Speicher/Backups readonly off default
KPW-Speicher/Backups zoned off default
KPW-Speicher/Backups snapdir hidden default
KPW-Speicher/Backups aclinherit restricted default
KPW-Speicher/Backups createtxg 155 -
KPW-Speicher/Backups canmount on default
KPW-Speicher/Backups xattr on default
KPW-Speicher/Backups copies 1 default
KPW-Speicher/Backups version 5 -
KPW-Speicher/Backups utf8only off -
KPW-Speicher/Backups normalization none -
KPW-Speicher/Backups casesensitivity sensitive -
KPW-Speicher/Backups vscan off default
KPW-Speicher/Backups nbmand off default
KPW-Speicher/Backups sharesmb off default
KPW-Speicher/Backups refquota none default
KPW-Speicher/Backups refreservation none default
KPW-Speicher/Backups guid 11615062518092795430 -
KPW-Speicher/Backups primarycache all default
KPW-Speicher/Backups secondarycache all default
KPW-Speicher/Backups usedbysnapshots 0B -
KPW-Speicher/Backups usedbydataset 862M -
KPW-Speicher/Backups usedbychildren 0B -
KPW-Speicher/Backups usedbyrefreservation 0B -
KPW-Speicher/Backups logbias latency default
KPW-Speicher/Backups objsetid 141 -
KPW-Speicher/Backups dedup off default
KPW-Speicher/Backups mlslabel none default
KPW-Speicher/Backups sync standard default
KPW-Speicher/Backups dnodesize legacy default
KPW-Speicher/Backups refcompressratio 1.00x -
KPW-Speicher/Backups written 862M -
KPW-Speicher/Backups logicalused 863M -
KPW-Speicher/Backups logicalreferenced 863M -
KPW-Speicher/Backups volmode default default
KPW-Speicher/Backups filesystem_limit none default
KPW-Speicher/Backups snapshot_limit none default
KPW-Speicher/Backups filesystem_count none default
KPW-Speicher/Backups snapshot_count none default
KPW-Speicher/Backups snapdev hidden default
KPW-Speicher/Backups acltype off default
KPW-Speicher/Backups context none default
KPW-Speicher/Backups fscontext none default
KPW-Speicher/Backups defcontext none default
KPW-Speicher/Backups rootcontext none default
KPW-Speicher/Backups relatime off default
KPW-Speicher/Backups redundant_metadata all default
KPW-Speicher/Backups overlay off default
KPW-Speicher/Backups encryption off default
KPW-Speicher/Backups keylocation none default
KPW-Speicher/Backups keyformat none default
KPW-Speicher/Backups pbkdf2iters 0 default
KPW-Speicher/Backups special_small_blocks 0 default


zpool status

 

[Dunuin]

zfs get all KPW-Speicher/Backups

root@proxmox:~# zfs get all KPW-Speicher/Backups
NAME PROPERTY VALUE SOURCE
KPW-Speicher/Backups mounted no -
KPW-Speicher/Backups mountpoint /KPW-Speicher/Backups default
...
KPW-Speicher/Backups canmount on default

Da ist "canmount=on" also sollte das Dataset eigentlich automatisch in dem Pfad "mountpoint=/KPW-Speicher/Backups" gemountet werden. Es ist aber aktuell nicht gemountet da dort steht "mounted=no" und kann daher auch nicht benutzt werden. Da solltest du mal gucken ob der Ordner "/KPW-Speicher/Backups" existiert und dann mal manuell mounten (zfs mount KPW-Speicher/Backups).

KPW-Speicher/Backups compression off default
KPW-Speicher/Backups atime on default
...
KPW-Speicher/Backups relatime off default

Hat jetzt nichts mit deinem Problem zu tun aber ich würde "atime'" auf "off" stellen und dafür "relatime" auf "on" sofern du die access time nicht für etwas spezielles brauchst. Das tut SSDs und HDDs gut weil weniger Writes/IOPS, da so nicht jede Leseopeation auch eine weitere Schreiboperation auslöst.
Und "compression" würde ich wenigstens auf "lz4" stellen. LZ4 komprimiert nur wenn es sich auch lohnt eine Datei zu komprimieren. Ansonsten bricht lz4 einfach die Komprimierung ab und speichert die Datei unkomprimiert. Ist eine Datei aber gut komprimierbar wird sie komprimiert und das kostet dann im Normalfall keine Performance sondern bringt sogar mehr Performance, weil eine kleinere Datei schneller gelesen/geschrieben werden kann.

Was steht bei dir in der /etc/pve/storage.cfg? Vielleicht hast du den ZFS Pool ja irgendwie falsch zu Proxmox hinzugefügt oder so.

 

[tigger30926]

nano /etc/pve/storage.cfg



Ich habe das Laufwerk so die du vorgeschlagen hast gemountet und siehe da:



Es ist endlich da. Jetzt ist nur die Frage warum mountet das nicht automatisch?

Deine Vorschläge habe ich wie folgt umgesetzt.

zfs set atime=off KPW-Speicher
zfs set relatime=on KPW-Speicher
zfs set compression=on KPW-Speicher
zfs set compression=lz4 KPW-Speicher

Ergebnis:
root@proxmox:~# zfs get all KPW-Speicher/Backups
NAME PROPERTY VALUE SOURCE
KPW-Speicher/Backups type filesystem -
KPW-Speicher/Backups creation Sat Jun 6 22:39 2020 -
KPW-Speicher/Backups used 862M -
KPW-Speicher/Backups available 13.9T -
KPW-Speicher/Backups referenced 862M -
KPW-Speicher/Backups compressratio 1.00x -
KPW-Speicher/Backups mounted yes -
KPW-Speicher/Backups quota none default
KPW-Speicher/Backups reservation none default
KPW-Speicher/Backups recordsize 128K default
KPW-Speicher/Backups mountpoint /KPW-Speicher/Backups default
KPW-Speicher/Backups sharenfs off default
KPW-Speicher/Backups checksum on default
KPW-Speicher/Backups compression lz4 inherited from KPW-Speicher
KPW-Speicher/Backups atime off inherited from KPW-Speicher
KPW-Speicher/Backups devices on default
KPW-Speicher/Backups exec on default
KPW-Speicher/Backups setuid on default
KPW-Speicher/Backups readonly off default
KPW-Speicher/Backups zoned off default
KPW-Speicher/Backups snapdir hidden default
KPW-Speicher/Backups aclinherit restricted default
KPW-Speicher/Backups createtxg 155 -
KPW-Speicher/Backups canmount on default
KPW-Speicher/Backups xattr on default
KPW-Speicher/Backups copies 1 default
KPW-Speicher/Backups version 5 -
KPW-Speicher/Backups utf8only off -
KPW-Speicher/Backups normalization none -
KPW-Speicher/Backups casesensitivity sensitive -
KPW-Speicher/Backups vscan off default
KPW-Speicher/Backups nbmand off default
KPW-Speicher/Backups sharesmb off default
KPW-Speicher/Backups refquota none default
KPW-Speicher/Backups refreservation none default
KPW-Speicher/Backups guid 11615062518092795430 -
KPW-Speicher/Backups primarycache all default
KPW-Speicher/Backups secondarycache all default
KPW-Speicher/Backups usedbysnapshots 0B -
KPW-Speicher/Backups usedbydataset 862M -
KPW-Speicher/Backups usedbychildren 0B -
KPW-Speicher/Backups usedbyrefreservation 0B -
KPW-Speicher/Backups logbias latency default
KPW-Speicher/Backups objsetid 141 -
KPW-Speicher/Backups dedup off default
KPW-Speicher/Backups mlslabel none default
KPW-Speicher/Backups sync standard default
KPW-Speicher/Backups dnodesize legacy default
KPW-Speicher/Backups refcompressratio 1.00x -
KPW-Speicher/Backups written 862M -
KPW-Speicher/Backups logicalused 863M -
KPW-Speicher/Backups logicalreferenced 863M -
KPW-Speicher/Backups volmode default default
KPW-Speicher/Backups filesystem_limit none default
KPW-Speicher/Backups snapshot_limit none default
KPW-Speicher/Backups filesystem_count none default
KPW-Speicher/Backups snapshot_count none default
KPW-Speicher/Backups snapdev hidden default
KPW-Speicher/Backups acltype off default
KPW-Speicher/Backups context none default
KPW-Speicher/Backups fscontext none default
KPW-Speicher/Backups defcontext none default
KPW-Speicher/Backups rootcontext none default
KPW-Speicher/Backups relatime on inherited from KPW-Speicher
KPW-Speicher/Backups redundant_metadata all default
KPW-Speicher/Backups overlay off default
KPW-Speicher/Backups encryption off default
KPW-Speicher/Backups keylocation none default
KPW-Speicher/Backups keyformat none default
KPW-Speicher/Backups pbkdf2iters 0 default
KPW-Speicher/Backups special_small_blocks 0 default

 

[Dunuin]

Es ist endlich da. Jetzt ist nur die Frage warum mountet das nicht automatisch?

Gute Frage. Und was ich mich halt auch frage ist, warum er das Root-Verzeichnis von deinem Host bind-mountet wenn der angegebene Ordner nicht gefunden werden kann. Dann sollte der LXC eigentlich das Starten verweigern anstatt da einfach das nächst Beste zu mounten. Den Root-Pfad will man ja eigentlich nicht im LXC haben, da sind ja haufenweise kritische Ding drin auf die ein LXC keinen Zugriff haben sollte.

Vielleicht kann da ja wer vom Staff was zu sagen.

 

[tigger30926]

Gute Frage. Und was ich mich halt auch frage ist, warum er das Root-Verzeichnis von deinem Host bind-mountet wenn der angegebene Ordner nicht gefunden werden kann. Dann sollte der LXC eigentlich das Starten verweigern anstatt da einfach das nächst Beste zu mounten. Den Root-Pfad will man ja eigentlich nicht im LXC haben, da sind ja haufenweise kritische Ding drin auf die ein LXC keinen Zugriff haben sollte.

Vielleicht kann da ja wer vom Staff was zu sagen.

Ja ich bin auch ratlos, sowas hatte ich auch noch nicht. Möchte mich aber an dieser Stelle schon einmal ganz herzlich bei dir bedanken. Ohne dich wäre ich hier nicht weitergekommen. Hast du denn vielleicht einen Draht zu den Staff´s? Also ich keine leider noch keinen von den Staff´s.

 

[Dunuin]

Für gewöhnlich guckt da schon irgendwann jemand in die Threads und antwortet. Aber wenn sie nur hier im Forum helfen würden, dann kommen sie ja nicht mehr zum Programmieren. Aber dafür bekommt man dann auch echt gute Antworten, auch wenn man manchmal etwas warten muss. Denn wer kann Probleme besser beheben/erklären als jemand der selbst am Code mitgeschrieben hat, welcher die Fehler verursacht. Und Probleme von zahlender Kundschaft mit Subscription müssen natürlich auch vorher noch abgearbeitet werden.

Ansonsten könntest du auch ein Ticket im Bugtracker aufmachen und dort fragen, ob es so richtig ist, dass da dein Root-Folder vom Host in den LXC gemountet wird, wenn dein Dataset nicht verfügbar ist. Und dann auf den Thread hier im Forum verweisen. Weil ich würde tippen das ist ein Bug. Im Bugtracker geht sowas dann weniger unter und wird auf Jedenfall gesehen und bearbeitet. Bei meinen LXCs auf PVE6.4 ist das auf jedenfall anders. Ich mounte hier auch SMB-Mountpoint vom Host in die LXCs und ist da ein SMB Share nicht gemountet, dann verweigert der LXC halt das Starten bis der Mountpoint auch wirklich verfügbar ist.

Wegen dem automatischen mounten müsstest du mal gucken ob das nie klappt. Also paar mal Server rebooten und prüfen ob es irgendwann klappt. Ansonsten könnte man da auch ein Workaround versuchen. Sowas wie die Zeile @reboot root sleep 60 && zfs mount -a > /dev/null 2>&1 in deine /etc/crontab einfügen, was dann eine Minute nach dem Start von Proxmox alle ungemounteten Datasets mounten würde. Dann müsstest du aber wohl auch den Autostart der VMs/LXCs verzögern (geht per WebUI) welche auf die Daten vom Dataset angewiesen sind.

Wäre aber natürlich trotzdem schön zu wissen warum der ZFS automount in erster Linie nicht klappt.