Proxmox Hardware Raid und ZFS

[crmspezi]

Hallo,
ich brauche ein bisschen Hilfe zur Planung der Proxmox Struktur und erhoffe mir hier ein wenig Hilfe.

Ich habe hier im Versuchsaufbau 2 gebrauchte HP Server mit je 128GB RAM, die derzeit im Test (noch unter 5.4 im HA Cluster) mit lokalem RaidZ1 zfs Storage (HBA IT Mode 8x 900GB/10K SAS, 10G) performant 5 kleine aber I/O lastige Windows VMs ausführen.

Die Performance ist wirklich, auch bei RaidZ1 auf Grund des RAM, gut. Die VM's werden auf den anderen Host repliziert. Funktioniert.

Ich benötige nun bei den VM's bedeutend mehr Festplattenplatz und möchte gern einen weiteren Server (32 GB RAM ECC, 8x 8TB SATA 7200 Enterprise HDD an einem LSI 9361 Cache Vault, Hardware-Raid6, 10G, USV) mit verwenden), der unter Openmediavault v4 (Debian 9) läuft. HA benötige ich eigentlich nicht, allerdings in Zukunft die Möglichkeit die Windows VM's zu verschieben. Den lokalen zfs Storage würde ich dann wie die Replizierung aufgeben.

Ich möchte nicht zfs over iSCSI verwenden, da habe ich viele Tests unter XIGMANAS (Freenas) mit Proxmox 5.4 vorher gemacht und wirklich schlechtere Performance Werte bekommen (auch gefühlt) als wenn ich nur CIFS verwende und mit qcow2 Dateien arbeite. Nun zu meinen Fragen zu den Optionen:

1. NAS Openmediavault mit LSI 9361 Raid 6 mit ZFS Single oder XFS (Ext4) und smb?
2. NAS Openmediavault mit LSI 9361 IT Mode mit mdadm Software Raid 6(?) + XFS (Ext4)? und smb
3. NAS Openmediavault mit LSI 9361 IT Mode mit ZFS RaidZ2 und smb?
4. NAS Openmediavault mit LSI 9361 Raid 10 mit ZFS Single oder XFS (Ext4) und smb?
5. NAS Openmediavault mit LSI 9361 IT Mode mit mdadm Software Raid 10 + XFS (Ext4)? und smb
6. NAS Openmediavault mit LSI 9361 IT Mode mit ZFS Raid-10 und smb?

qcow2 auf zfs ist ja auch nicht unbedingt super. Allerdings könnte ich dann auf dem Storage zfs snapshot machen oder auch mit zrep den Storage clonen. Meiner Meinung nach ist Hardware Raid 6 oder 10 mit XFS am hochperformantesten.


Was könntet Ihr mir hier empfehlen?

Viele Grüße

 

[wolfgang]

Hi,

ZFS mit Raid kannst du mal als Möglichkeit ausschließen.
Da es in der Vergangenheit immer wieder Probleme gemacht hat.

Ich würde xfs/ext4 mit Raid 10 verwenden Raid5/6 wird bei Virtualisierung nicht empfohlen.

 

[crmspezi]

Hallo Wolfgang,
Danke für die Rückmeldung. Mit ZFS auf Raid meinte ich ein ZFS Single auf einem Hardware Raid, nicht ZFS Raidz(x). Bei einem ZFS Single sollte es eigentlich keine Probleme geben, da hier auch keine "Selbstheilung" stattfinden kann und man die Vorteile wie Snapshots, etc. nutzen kann.

Viele Grüße Bernd

 

[wolfgang]

Doch macht es.
Das Problem ist nicht der Raid sonder die Caches der beiden Systeme. Und die hast du auch beim ZFS single und Raid0 HWRaid.

 

[crmspezi]

Kannst Du mir dies erklären, ich verstehe es nicht. Meinst Du das das das Betriebssystem denkt, die Daten sind aus dem zfs Cache (write back oder through) zurückgeschrieben, obwohl Sie noch im Raidcontroller Cache hängen?

 

[wolfgang]

1.)ZFS hat immer einen Aktiven Cache. Denn kannst du zwar limitieren aber nicht ausschalten.
Wenn du den ZFS Cache weniger als 4 GB gibst wird ZFS sehr langsam.

2.)Raid Controller haben auch eine eingebauten Cache. Dieser ist bei den meisten Karten so eingebaut das man den auch nicht deaktivieren kann.
Du kannst zwar der Raid Karte sagen das der deaktiviert sein soll aber in Wirklichkeit geht das nicht.

3.)Raid Controller implementieren oft die Disk Instruktion nicht 100% korrekt wodurch ZFS nicht weis ob Daten geschrieben worden sind oder noch im Festplatten Cache sind. Der Raid Controller gibt ja keinen Zugriff auf die Festplatten.

 

[gmed]

Guten Morgen,

Ich bin mitlerweile auch wieder zurück zu Hardware-RAID, nachdem ich eine Testmaschiene mit 64GB RAM inkl. SSD-Cache eine Zeit lang ausprobiert habe.

Neben der schlechteren Performance war für mich auch noch ausschlaggebend, daß ich im Fehlerfall eine piepsende Maschine habe, am blinkenenden HD-Slot sehe, welche Platte ausgefallen ist und die einfach rausziehen und tauschen kann.
(Vorher Backups geprüft etc. pp.)


Mensch ist halt ab und an einfach faul.

 

[crmspezi]

Hallo,
ich muss die Frage nochmals aufwärmen.

Vorab, mir ist absolut bewusst das ZFS, um ideal zu funktionieren, den direkten HDD Zugriff braucht. Trotzdem möchte ich eure Meinung zu folgender Konstellation, die nicht wirklich produktiv (Testsystem) ist.

Zur Situation:
Alter HP Server, Raidcontroller P410 mit 8x 900GB SAS. Hier geht kein IT Modus und ich möchte auch keinen weiteren Controller einsetzen!

1. Option
8x Raid0 und dann im Proxmox ein ZFS Raid10 gemacht

ODER

2. Option
1x Raid10 und dann im Proxmox ein ZFS Raid0 gemacht.

Ich brauche unbedingt ZFS.

Ich glaube die 2. Option ist besser, da bei einem HDD Problem sich der HP Raidcontroller drum kümmert und ich HP Raid CLI Software zur Wartung und Pflege auf dem Proxmox installieren kann und die Performance evtl. besser ist.

Ich bin völlig unentschlossen und freue mich über eure Meinung.

VG

 

[aaron]

Ich brauche unbedingt ZFS.

Darf ich fragen wieso?

Niemand wird dir sagen, dass die eine oder andere Option eine gangbare Alternative sind.

Bei Option 1 macht der RAID Controller die Probleme wie von @wolfgang weiter oben beschrieben. Bei Option 2 wirst du diese Probleme haben und beraubst ZFS der Möglichkeit die Redundanz und Konsistenz zu garantieren.

 

[crmspezi]

Hallo Aaron,
Danke für die Rückantwort. Option 1 scheint mir auch fraglich.

Bei Option 2 erschließt sich mir das Risiko technisch absolut nicht. Hier sitzt ein Dateisystem oder eben eine komplette Verwaltungsschicht oben drauf. Das ZFS hier schädlicher als ein XFS/Ext4/JFS, etc. ist, ist mir nicht verständlich. Ich benötige hier nur die Snapshot- und Replikationsmöglichkeiten (zrep, etc.)

Bitte erkläre mir Deine Bedenken.

VG

 

[aaron]

Bei Option 2 erschließt sich mir das Risiko technisch absolut nicht. Hier sitzt ein Dateisystem oder eben eine komplette Verwaltungsschicht oben drauf. Das ZFS hier schädlicher als ein XFS/Ext4/JFS, etc. ist, ist mir nicht verständlich. Ich benötige hier nur die Snapshot- und Replikationsmöglichkeiten (zrep, etc.)

ZFS geht auch hier davon aus, dass es eine physikalische Festplatte bekommt. Entsprechend sind die Performanceprobleme durch mehrere Caches die gleichen wie bei Option 1.

Wenn man ZFS nur eine "Festplatte" gibt hat man die ganzen netten Features die die Datenkonsistenz gewährleisten nicht mehr. ZFS kann höchstens sagen, wenn die Daten irgendwo nicht mehr Konsistenz sind.

Machen kannst du eine der zwei Optionen natürlich, aber empfehlen wird es dir niemand. Die Empfehlung um seltsamen Fehlern und Problemen aus dem Weg zu gehen ist und bleibt die Festplatten/SSDs so nackt wie möglich an ZFS zu geben: einfacher SATA Controller, HBA in IT-Mode oder direkt NVME.

 

[crmspezi]

Danke für die Erklärung. Als ZFS Feature brauche ich nur die Snapshot Funktion für Backups. Deshalb auch viele TB (viele Festplatten) und NVME ist unwirtschaftlich.

Die Sache mit dem Cache ist laut Deiner Erklärung nicht korrekt. Natürlich hat der Raidcontroller einen Cache, den er selbst verwaltet, puffert und leert (bei HW Raid 10 drunter), HDD Fehler erkennt (nicht Bitfehler). Selbst wenn hier ZFS nochmals cachen tut, (eure Sicherheitsbedenken) ist dies genauso riskant als wenn ext4, xfs, etc. drauf liegen würden, die auch über das BS cachen tuen. ZFS und auch ext4, xfs, etc. gehen z.B. davon aus das erfolgreich geschrieben ist, der Raidcontroller erledigt dies, wenn auch später.

Daher kommt mein Unverständnis zur Meinung ZFS auf HW-Raid ist riskant. Das würde bedeuten, jeder Hardware Raidcontroller mit Cache (selbst mit BBU oder CacheVault + USV) ist ein Risiko, egal welches BS drauf liegt. Dem ist sicher nicht so.

Mir geht es hier nur um das Feature Snapshot (zrep Einsatz).

VG