Fragen zu Ext4 vs ZFS

W

wire2hire

Active Member
Oct 20, 2020
24
1
43
41
Ich stehe vor einer Entscheidung.

EXT4 HW RAID vs ZFS für die vms. Momentan sieht man das die Preise für storage immer teurer werden und da , wäre die Frage ob man nicht durch ext4 weniger weareout hat und die Platten länger leben.

Aktuell habe ich HW RAID megaraid mit cache und batterie und enterprise ssd. Vorteil wäre bei zfs die replikation , oder würde das auch per ext4 storage gehen ( veeam ist leider noch nicht so weit). Spricht etwas, außer replikation gegen hw raid1 mit ext4 für vms?
 
Meinst du mit ext4 hier LVM(-Thin)? Replikation geht nur mit ZFS. Bei DC SSDs würde ich mir da keine riesen Gedanken über ZFS wearout machen.
Ich nehme an, dass HW RAID ein paar ähnliche Nachteile wie MDRAID hat: https://pve.proxmox.com/wiki/Software_RAID
Beachte dass das HBA im IT Mode sein muss für ZFS.
 
Last edited:
Wenn die Hardware vorhanden ist und Replikation keine grosse Rolle spielt, spricht in meinen Augen nichts gegen lvm-thin/ext4. Man sollte bei der Überlegung zfs/ext4 bei vorhandener Harware auch das Thema RAM im Hinterkopf haben.
 
Mr.Doubt said:
Wenn die Hardware vorhanden ist und Replikation keine grosse Rolle spielt, spricht in meinen Augen nichts gegen lvm-thin/ext4. Man sollte bei der Überlegung zfs/ext4 bei vorhandener Harware auch das Thema RAM im Hinterkopf haben.
Click to expand...
und das Thema IO Last. Es spricht nichts gegen ext 4 oder auch lvm-thin. Du kannst VMs im Cluster auch wunderbar verschieben. Nur eine "richtige" Replikation geht damit nicht. Wieviele Hosts sinds denn?

LVM-thin ist aber ≠ ext4. Beides hat nichts mit einander zu tun




Gruß
 
Last edited:
stimmt lvm-thin hat per se mit ext4 nichts zu tun. es sind drei hosts. Durch die neue proxmox datacenter software , würde auch das managen leichten gehen ohne cluster.

drei host mits raid controlle rund storage das plus jeweils per nfs angebundener storage , wo später die replikation zb per veeam erfolgen kann.
 
wire2hire said:
wäre die Frage ob man nicht durch ext4 weniger weareout
Click to expand...
Die IMHO bessere Frage wäre:
"Hat ZFS einen nennenswert grösseren wearout als ext4?"

Meine SSDs halten nach aktueller Schätzung 18 und 34 Jahre bis zum wearout.
Hätte ich mit ext4 weniger wearout, weil ich mit ZIL doppelt schreibe und weil ich manchmal write amplification habe bei 4k writes in meinem 16k volblocksize? Bestimmt.
Ist es relevant? Eher nicht.

IMHO:

"ZFS ate my disk" ist zu 99%:
- geänderter ashift
- RAIDZ ohne pool Geometrie und padding zu verstehen
- geänderte volblocksize
- extreme viele sync writes, die eigentlich auf PLP hätten sein sollen

bei einem einfachen mirror && ashift = 12 && volblocksize 16k && VMs mit "normalem workload" frisst ZFS keine modernen SSDs.

Allerdings dürftest du mit deinem BBU vermutlich die schnelleren sync writes haben, als mit ZFS.
 
  • Like
Reactions: Johannes S and ivenae
Kommt halt immer darauf an, was man hat und was man will. Bei einem vorhandenen vernünftigen RAID-Controller würde ich ihn beibehalten und auf ZFS verzichten. Das OS auf zwei neue kleine SSDs (RAID1) packen und dann das vorhandene Storage vom RAID-Controller per fstab einbinden und einen Eintrag in der storage.cfg anlegen. Mit storcli kannst du dann das RAID verwalten. Et voilà!
 
Last edited:
  • Like
Reactions: ThoSo and s.meier77
Veem macht an der Stelle aber weniger Replikation als mehr ein Backup, welches dann auf einem anderen Host hochgefahren werden kann. Hier müsste aber jemand korrigieren der mehr Erfahrung mit veem und proxmox hat.

Wozu soll denn die Replikation dienen? Um im Fehlerfall eines Hosts, die VM auf einem anderen Host wieder verfügbar zu haben? Da zfs nicht dauerhaft sondern nur regelmäßig alle 15Minuten (im Standard) repliziert sind im schlimmesten Fall die Daten von 15 Minuten weg...
 
Last edited:
veeam macht eine komplette replication so wie zfs , sodass falls auf dem host nichts mehr geht, man kein backup restored , sondern die replication startet . backup läuft ja nicht permanent, sodass man wneiger ausfall und auch weniger datenverlust hätte.
 
wire2hire said:
Spricht etwas, außer replikation gegen hw raid1 mit ext4 für vms?
Click to expand...
Im Sinne "pro ZFS"? Klar doch: transparente Kompression, technisch billige Snapshots, Flexibilität beim Erweitern, nicht an die spezifische Controller-Hardware gebunden, garantierte Integrität und sicher weitere mehr...
 
  • Like
Reactions: Johannes S, IsThisThingOn and ivenae
Max Carrara

[SOLVED] Post in thread 'Performance comparison between ZFS and LVM'

Hey there!

I personally am a big fan of ZFS because its features actually allow you to get the most out of your hardware.

Here's a short, non-exhaustive list on why I would prefer ZFS:
  • ZFS will checksum each block of data that's on the disks it uses, preventing bitrot and telling you when errors occur. This is its biggest feature, in my opinion.
  • ZFS uses an Adaptive Replacement Cache in RAM, which is faster than regular LRU caches.
    • Data that's often read will therefore be almost always be available more quickly, as it's sitting in memory already and doesn't have...
  • Like
 
  • Like
Reactions: Johannes S and UdoB
Meine Erfahrung sagt mir, dass Proxmox im Vergleich zu einem Plain Debian aufgrund des pvestatd einen höheren Wearout hat, nicht aufgrund des Dateisystems.
Man kann pvestatd ggf. so konfigurieren, dass er seine Daten nur im RAM ablegt. Man könnte ihn auch komplett deaktivieren, was ich beides persönlich nicht empfehlen würde.

Der Wearout wird aber bei üblichen Festplattengrößen deine SSD trotzdem nicht killen, weil sie laut Herstellerspezifikation bei üblichen pvestatd Schreiblasten eher die 5, 6, 7 Jahre um sind, nach der man Festplatten üblicherweise tauscht, als die 20 Jahre, nachdem der Tot durch Wearout eingetreten ist.

Vorteile von ZFS wurden schon genannt: Du sparst dir die Anschaffung eines teuren RAID Controllers, und wenn du Inline Compression gut nutzen kannst (Mailserver, Dateiserver mit gut komprimierbaren Daten), kannst du auch gleich kleinere Festplatten kaufen. In einem Fall habe ich einen fast zu kleinen, alten 4 TB NAS gegen eine Proxmox Kiste getauscht, die dann auch nur 4 TB hatte, aber aufgrund des Compression Faktors von 1,57 war genügend Luft nach oben vorhanden. hardlink hat ein paar doppelte Dateien gefunden, ein paar alte Daten gelöscht und wir sind mit 1,5 TB belegtem Platz gestartet.
 
Last edited:
  • Like
Reactions: Browbeat, UdoB and Johannes S
wire2hire said:
Ich stehe vor einer Entscheidung.

EXT4 HW RAID vs ZFS für die vms. Momentan sieht man das die Preise für storage immer teurer werden und da , wäre die Frage ob man nicht durch ext4 weniger weareout hat und die Platten länger leben.

Aktuell habe ich HW RAID megaraid mit cache und batterie und enterprise ssd. Vorteil wäre bei zfs die replikation , oder würde das auch per ext4 storage gehen ( veeam ist leider noch nicht so weit). Spricht etwas, außer replikation gegen hw raid1 mit ext4 für vms?
Click to expand...
Hi, um den Wearout brauchst du dir gar keine Sorgen machen, wenn du einen Raidcontroller mit Batteriecache hast.
Wenn es SATA SSDs sind, würde ich auf jeden Fall das Hardware Raid lassen. Man kann auch Hardwre Raid und ZFS nutzen, es ist nicht verboten, man muss nur wissen was man tut. Die meisten Leute haben entweder von HWRaid oder von ZFS keine Ahnung, dann ist die Empfehlung OK.

Wenn du HW Raid mit ZFS nutzen möchtest darfst du immer nur einen Single Pool machen und niemals den Pool um eine weitere Disk erweitern.
Natürlich verlierst du auch ZFS Features, welche aber dein HW Raid hat. Wenn du einfach einen Single Pool baust und da nur Replication nutzt und keine wilden Scripte aus dem Netz, kannst du das gern mit HW Raid machen. Das habe ich auch seit Jahren bei Kunden am laufen.

Wenn du bei irgendetwas unsicher bist, bitte fragen. Dann läuft das.
 
You must log in or register to reply here.
Top Bottom