Welcher Storagetype für lokale Disks?

[gnomegemini]

Hi there,

u.a. um die Partitionierung zu ändern würde ich meinen Host neu aufsetzen. Bisher arbeite ich mit lokalen qcow Images im xfs Directory. Bei der Neuinstallation habe ich die Wahl, welchen Storagetype ich zukünftig verwenden werde: local qcow, lvm, lvm-thin, zfs. Ich habe 2 PCI-E SSDs im Raid1 (derzeit mdadm, ggf. zfs-raid1 je nachdem) drin und mit 512GB auch genügend RAM für ZFS. Was würdet ihr aus welchem Grund empfehlen? Backup würde dann über vermutlich parallel installiertem PBS erfolgen. Da ich dann schon das 2. Produkt von Proxmox nutze, dann mit Subscription für das (stabilere ich denke) Enterprise Repo.

Danke und viele Grüße,
Stefan

 

[Dunuin]

Wenn du Datensicherheit willst dann ZFS. Für Performance eher mdadm mit LVM-thin.

ZFS ist halt nicht wirklich schnell, dafür hast du aber Schutz vor schleichendem Dateiverfall durch Prüfsummen und Selbstheilung. Da kannst du ja noch so viele Backups machen wie du willst, wenn dein Dateisystem die Korruption durch schleichenden Dateiverfall nicht erkennen kann, dann sichert dein Backup ja auch nur unbewusst korrumpierte Daten.

Mdadm ist im übrigen nicht offiziell unterstützt, auch wenn es gut läuft. Also noch einmal ein Risiko mehr, weil da keiner prüft, ob dir ein Proxmox-Update nicht das Mdadm Array zerschießt. Hier wäre dann eine Subscription noch einmal sinnvoller als sonst schon, dass da die Leute ohne Subscription als erstes hier Array zerschossen bekommen und es gefixt wird, bevor es ins Enterprise Repo wandert.

 

[gnomegemini]

Wenn du Datensicherheit willst dann ZFS. Für Performance eher mdadm mit LVM-thin.

ZFS ist halt nicht wirklich schnell, dafür hast du aber Schutz vor schleichendem Dateiverfall durch Prüfsummen und Selbstheilung. Da kannst du ja noch so viele Backups machen wie du willst, wenn dein Dateisystem die Korruption durch schleichenden Dateiverfall nicht erkennen kann, dann sichert dein Backup ja auch nur unbewusst korrumpierte Daten.

Mdadm ist im übrigen nicht offiziell unterstützt, auch wenn es gut läuft. Also noch einmal ein Risiko mehr, weil da keiner prüft, ob dir ein Proxmox-Update nicht das Mdadm Array zerschießt. Hier wäre dann eine Subscription noch einmal sinnvoller als sonst schon, dass da die Leute ohne Subscription als erstes hier Array zerschossen bekommen und es gefixt wird, bevor es ins Enterprise Repo wandert.

Warum sollte das Dateisystem sich zersetzen? Das ist das allererste mal, dass ich davon höre, dass es sowas geben soll. Insbesondere bei ECC RAM sollte sowas nicht passieren. Vielleicht bei einem ext2 ohne Journal. Aber selbst heutzutage mit einem Stromausfall eher doch angstmacherei? Mir ist in 11 Jahren System Engineering noch nie etwas derartiges passiert; weder beruflich (~120 VMs in Verwaltung) noch privat. Die Vorteile eines COW Dateisystems sind mir bewusst, bisher dachte ich aber, dass es einen Stromausfall nötig macht, um korrupte Daten zu erhalten.

Proxmox setzt auch nur auf bestehende Dinge auf, die es im Debian gibt (qemu, kvm), und bastelt einige dazu die es sonst nicht gibt (ZFS). Ich wüsste nicht, dass Proxmox was an den mdadm Modulen macht. Und ich hoffe doch mal, dass kein unstable Kernel genutzt wird, was in meinen Augen die einzige Chance wäre, das Raid zu zerballern.

An LVM-Thin hatte ich auch zuerst gedacht, bin aber noch unschlüssig: es schafft eine Abstraktionsschicht über dem Filesystem mehr und ich laufe ggf. Gefahr dass ich alles zerschieße weil doch mal mehr Festplatte gebraucht wird als physisch verfügbar ist. Andererseits bei gutem Monitoring eine effiziente Möglichkeit die VMs zu verwalten.

 

[Dunuin]

Warum sollte das Dateisystem sich zersetzen? Das ist das allererste mal, dass ich davon höre, dass es sowas geben soll. Insbesondere bei ECC RAM sollte sowas nicht passieren. Vielleicht bei einem ext2 ohne Journal. Aber selbst heutzutage mit einem Stromausfall eher doch angstmacherei? Mir ist in 11 Jahren System Engineering noch nie etwas derartiges passiert; weder beruflich (~120 VMs in Verwaltung) noch privat. Die Vorteile eines COW Dateisystems sind mir bewusst, bisher dachte ich aber, dass es einen Stromausfall nötig macht, um korrupte Daten zu erhalten.

ECC verhindert ja nur die Bitflips im RAM. Das gleiche kannst du aber auch bei HDDs oder SSDs haben und da hast du dann nichts was dich davor schützt, wenn dein Dateisystem nicht Prüfsummen von allem macht. Kommt nicht so super oft vor aber passiert. Meistens bekommst du davon halt nur nichts mit. Daher heißt es ja "schleichender" Dateiverfall (oder "bit rot" im Englischen), da es langsam und unbemerkt im Hintergrund passiert. Sobald du anfängst ZFS zu nutzen siehst du dann aber, dass das doch mal vorkommt. ZFS meckert dann ja immer wenn es Checksummen-Fehler beim Scrubbing findet. Ist ähnlich wie beim ECC. Ist die Hardware neu und fehlerfrei korrumpiert da kaum etwas an Daten. Ist die Hardware aber langsam am sterben dann explodieren da die Fälle und ist doof wenn man es dann erst nach Wochen merkt wenn es ganz schlimm geworden ist und man dann über Wochen Daten verloren hat.

Proxmox setzt auch nur auf bestehende Dinge auf, die es im Debian gibt (qemu, kvm), und bastelt einige dazu die es sonst nicht gibt (ZFS). Ich wüsste nicht, dass Proxmox was an den mdadm Modulen macht. Und ich hoffe doch mal, dass kein unstable Kernel genutzt wird, was in meinen Augen die einzige Chance wäre, das Raid zu zerballern.

Da hast du recht. Aber kommt ja auch immer auf das Zusammenspiel mit der jeweiligen Hardware etc an. Und Proxmox erstellt ja seinen eigenen Kernel basierend auf dem LTS Kernel von Ubuntu. Nur weil das bei Ubuntu alles fehlerfrei läuft, heißt das ja nicht, dass sich da nicht etwas mit den Änderungen vom Kernel durch das Proxmox Team nicht vertragen könnte. Und wenn das offiziell nicht unterstützt wird, dann kann man auch nicht erwarten, dass das alles auf Fehlerfreiheit vor dem Release getestet wird. Ich lese hier jedenfalls immer wieder von Leuten die ihr Mdadm Array zerschossen haben und alle Daten weg sind. Und das Proxmox Team selbst rät auch von der Nutzung von Mdadm ab, da es weniger stabil ist und eine schlechtere Datenintegrität hat.

 

[gnomegemini]

Danke Dir. Habe nun alles mit ZFS aufgezogen hier.