Proxmox > ZFS innerhalb von ZFS Frage

[cpulove]

Wie lautet eigentlich die Empfehlung bezüglich den virtuellen Maschinen und den Dateisystemen?
Wenn ich für meine Proxmox VE schon ZFS wähle, ist es dann sinnvoll für die unter Proxmox laufenden Maschinen auch ZFS zu verwenden oder eher auf andere auszuweichen? Gibt es irgendwelche Nachteile wenn ich ZFS in ZFS schachtele?

 

[UdoB]

Wenn ich für meine Proxmox VE schon ZFS wähle, ist es dann sinnvoll für die unter Proxmox laufenden Maschinen auch ZFS zu verwenden

Nein.

Gibt es irgendwelche Nachteile wenn ich ZFS in ZFS schachtele?

Ja.

ZFS wird ja sowieso immer angelastet, dass es "viel schreibt" und Stress auf den Platten/SSDs macht. Je nach Topologie kommt es zu moderater oder auch zu absurd hoher "Write Amplification". Wenn man ZFS on ZFS stapelt, multiplizieren sich diese Effekte.

Die Abnutzungsrate steigt entsprechend. Die Performance nimmt hingegen ab. Und es kommen keine neuen Fähigkeiten hinzu.

Die grundlegende Frage ist also, was du mit ZFS im Gast erreichen willst. Snapshots, Datenintegrität, Kompression usw. werden ja schon "draußen" erledigt.

Es mag spezielle Anwendungsfälle geben, die Vorteile mit dieser Konstruktion erzielen - aber mir fällt keiner ein ;-)

 

[cpulove]

Danke Udo. Genau darum meine Frage. Ich hab einige Videos gesehen, da wurde ZFS für die Gastsysteme verwendet. Gelesen habe ich eininge Mal, man solle es nicht machen.

 

[Falk R.]

Videos gibt es leider ganz viele schlechte. Daher kann man die gern nutzen um die Bedienung kennenzulernen, aber die Konfigurationen immer hinterfragen.

 

[cpulove]

Videos gibt es leider ganz viele schlechte. Daher kann man die gern nutzen um die Bedienung kennenzulernen, aber die Konfigurationen immer hinterfragen.

Ja, das ist mir durchaus bewusst.

Wie würde es eigentlich mit Backups aussehen? Also wenn ich mit einem in ZFS installierten PBS, eine mit ZFS aufgesetzte VM sichere (meinetwegen auch noch auf ein ZFS NAS)? Wäre das der supergau?

 

[Falk R.]

Das wäre wiederum egal. Wo und wie du deine Backups speicherst, entscheidest du danach, welche Features du nutzen willst. Das Quellsystem ist quasi egal.

 

[UdoB]

Also wenn ich mit einem in ZFS installierten PBS, eine mit ZFS aufgesetzte VM sichere (meinetwegen auch noch auf ein ZFS NAS)? Wäre das der supergau?

Also..., ich habe das jetzt nicht probiert, aber ich schätze das anders ein, als Falk eben gerade:

Das wäre wiederum egal. Wo und wie du deine Backups speicherst, entscheidest du danach, welche Features du nutzen willst. Das Quellsystem ist quasi egal.

Oder sehen wir verschiedene Konstruktionen?

Wenn der PBS-Storage dann ebenfalls innerhalb dieser Konstruktion liegt: ja!

Meine Antwort gilt für a) ZFS als Basis, b) ZFS "lokal" in der VM und dann noch c) den PBS-Datastore ebenfalls vm-intern, also ZFS-on-ZFS. Das ist vermutlich ziemlich absurd ;-)

Viele Grüße

 

[Falk R.]

Ich gehe mal davon aus, dass das ZFS NAS schon ein extra Gerät ist. Die VM auf sich selbst zu sichern ist mehr als Sinnbefreit.

 

[cpulove]

Ich meinte eher die folgende Kette:
PVE (ZFS) als Hostsystem > darauf läuft PBS (mit ZFS installiert) oder PMG (auf ZFS aufgesetzt) als VM, oder jede andere beliebige VM mit ZFS installiert. Als Storage füge ich ein weiteres ZFS Laufwerk hinzu und sichere dann mittels PVE internem Backup die VM des PBM und der PMG auf das ZFS Storage.

 

[Falk R.]

könnte man machen, wenn die Backup Disks andere sind. Das ist aber schon ein sehr theoretisches Setup ohne sinnvollen Hintergrund.
Wenn du ein echtes Szenario hast, kannst du gern mal fragen wie man das am optimalsten macht.

 

[cpulove]

Ich betreibe zu Hause nen Unraid Server mit einem ZFS Festplattenarray als Datenspeicher. Darauf hab ein iSCSI Laufwerk angelegt um dort Backups mittels PBS von meinem dedizierten Onlineserver zu ziehen. Am Unraid liegen 10Gbit Netzwerk an an und an Uploadspeed stehen 250 Mbit zur Verfügung. Das Backup von Onlineserver nach Inhouse funktioniert bislang prima. Die VMs lassen sich auch alle auf mein Proxmox im Homelab zurückspielen. Das Zurückspielen auf den Onlineserver hingegen führt gerade bei größeren VMs regelmäßig zum Abbruch. Vermute hier sind die IOPS der Festplatten meines ZFS einfach nicht hoch genug, oder das ein ZFS in ZFS daran schuld sein könnte. Meine 50GB Nextcloud VM konnte ich beispielsweise problemlos wieder von zu hause aus zurückspielen auf den Server. Die läuft auch Debian 11 mit Ext4. Mein Debian 12 auf ZFS kackt hingegen immer ab, hat aber auch 100GB an Daten.

 

[UdoB]

Man könnte direkt auf dem PBS mal testen, welche IOPS der gemountete Datastore tatsächlich schafft. Mit so etwas ähnlichem wie:

fio --name=randrw  --ioengine=libaio  --direct=1 --bs=4k --iodepth=16 --size=8G --rw=randrw --rwmixread=5 --gtod_reduce=1 --runtime=600

"fio" ist sehr umfangreich, darum ist meine Zeile auch nur ein mögliches Beispiel. Siehe https://fio.readthedocs.io/en/latest/fio_doc.html