RAID5 und XFS im Cluster mixen?

[oelk]

Hallo Gemeinde,
unsere bisherigen Nodes waren Intel-Maschinen mit 500GB RAID1 zum booten und 20TB RAID5 (4xHDD) für die VMs.
Jetzt liefert der Anbieter eine Maschine mit einem Broadcom MegaRAID 9550-8i, der kann nur RAID 0,1,10 und
teilt uns auf Anfrage mit, das RAID5 outdated wäre und wir ZFS machen sollten.
Abgesehen davon, das wir keine Erfahrung mit ZFS haben, kann man das im Cluster mischen, was passiert da beim verschieben von VMs?

MfG

 

[Johannes S]

Hallo,

naja grundsätzlich sollte man ZFS und HW-Raid nicht mischen. Ich unterstelle jetzt mal dass das 500GB RAID1 zwei SSDs auf einen eigenen Controller für die boot-Disc ist? Das kann dann dann so bleiben. Beim HW-Controller muss man jetzt abwägen: HW-Raid (insbesondere wenn man das in RAID10 schaltet) ist performanter als zfs, weil es dann (sofern vorhanden) den Battery-Cache mitnutzen kann. ZFS dagegen ist deutlich flexibler und hat andere nette Features (siehe: https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/ ) , die ein HW-Raid normalerweise NICHT hat, aber dafür leider keine Beschleunigung durch den Battery-Cache (außer man achtet auf bestimmte Feinheiten, @Falk R. weiß (anders als ich) näheres aus der Praxis zu berichten). Dafür kann man bei zfs ssds als special- und logdevice dazuschalten und damit den Zugriff beschleunigen.
Was aber so oder so eher schlecht performt: HDDs als VM-Storage nutzen, das ist einfach generell eine recht lahme Angelegenheit und RAIDZ macht das noch mal deutlich langsamer: https://forum.proxmox.com/threads/fabu-can-i-use-zfs-raidz-for-my-vms.159923/ Wofür HDDs dagegen natürlich voll klar gehen, um große Datenmengen vorzuhalten, wo es nicht so sehr auf IOPS und Performance ankommt.
Pick your poison
Schöne Grüße, Johannes.

 

[Bu66as]

Mischen kannst du das problemlos, Storage ist im Cluster ja pro Node definiert. Was du halt nicht kriegst ist gemeinsamer Storage: egal ob XFS-Directory oder ZFS, lokal bleibt lokal, und beim Verschieben wird jedes Mal die komplette Disk über die Leitung kopiert. Wenn dabei noch von qcow2 auf ein zvol umgewandelt wird, ist das extra langsam. Live geht mit qm migrate <vmid> <node> --online --with-local-disks, aber wirklich schnell wird es so nicht.

Was beim Mischen komplett flachfällt ist die ZFS-Replikation (pvesr), die geht nur ZFS auf ZFS. Wenn ihr irgendwann HA haben wollt, würd ich eher alle Nodes nach und nach auf ZFS ziehen statt dauerhaft zu mischen.

Der 9550 muss in den JBOD/HBA-Modus, ZFS will die Platten direkt sehen und kein RAID-Volume drunter. Bei 4 HDDs würd ich zwei gespiegelte vdevs nehmen statt RAIDZ1 – das hat deutlich bessere IOPS. Und ARC-Limit setzen, sonst frisst der Cache den RAM, den du für die Gäste brauchst.

Was ist bei euch der XFS-Storage genau, Directory mit qcow2 oder LVM drunter?

 

[UdoB]

mit 500GB RAID1 zum booten und 20TB RAID5 (4xHDD)

Damit würde ich:

• bei der PVE-Installation nur auf das Blech installieren, und zwar auf zwei Spiegel, fka "Raid10". Am Ende ist jede dieser vier Platten bootfähig.
• später, wenn alles läuft, die beiden kleineren Platten (SSD?) als "Special Device" hinzufügen. Dies beschleunigt den Metadatenzugriff für den gesamten Pool drastisch.

Dieses Konzept wurde schon mehrfach erläutert; es gibt weitere Aspekte wie "special_small_blocks"...

Disclaimer: es gibt durchaus mehrere unterschiedliche Methoden - ich rede hier (natürlich!) nur für mich

 

[ThoSo]

Hallo Gemeinde,
unsere bisherigen Nodes waren Intel-Maschinen mit 500GB RAID1 zum booten und 20TB RAID5 (4xHDD) für die VMs.
Jetzt liefert der Anbieter eine Maschine mit einem Broadcom MegaRAID 9550-8i, der kann nur RAID 0,1,10 und
teilt uns auf Anfrage mit, das RAID5 outdated wäre und wir ZFS machen sollten.
Abgesehen davon, das wir keine Erfahrung mit ZFS haben, kann man das im Cluster mischen, was passiert da beim verschieben von VMs?

MfG

Den 9550-8i habe ich nirgends gefunden, nur den 9540-8i - ab dem 9560-8i geht Raid 5/6/10/50/60, wird aktuell auch noch angeboten.
Wenn ich das aber richtig sehen, sind die neusten Generationen doch die 96xx Reihe.

Also das RAID5 outdated ist, wäre mir jetzt neu.
Würde man auf dem "neuen" Server ESXi installieren wollen, hätte man die Option "ZFS" nicht einmal und wäre gekniffen.
Die bisherigen Notes passen da "klassisch" auch in des ESXI Design mit den Datastores.
https://www.thomas-krenn.com/de/wiki/ZFS_dRAID_Grundlagen_und_Einrichtung

Wenn man beim gleichen Aufbau bleiben möchte, bleibt nur der Einsatz es "besseren" RAID Controllers.
Wie schaut es den mit der angedachten neuen Plattenbestückung aus - NVME / SSD / HDD?

 

[Bu66as]

@ThoSo hat recht, den 9550-8i gibt es so nicht. @oelk, lass auf der Kiste mal storcli64 /c0 show laufen, dann steht der echte Typ drin. Das ist wichtig: 9500 ist ein reiner HBA (ideal für ZFS), 9540 kann 0/1/10, und erst ab 9560 gibt es RAID5/6 mit Cache. Genauso wichtig ist, ob das Ding echten JBOD/Passthrough kann oder nur RAID0 simuliert. Für ZFS ist das ein großer Unterschied, weil SMART und Fehler sonst nicht korrekt durchkommen.

Bei "RAID5 ist outdated": so pauschal nicht, aber bei Platten in der Größenordnung dauert ein Rebuild Tage, bis dahin ist das Risiko zu hoch. Das ist das eigentliche Problem.

Der Special-Device-Vorschlag von @UdoB ist gut, nur müssen die SSDs dafür gespiegelt sein und PLP haben. Wenn das Special Device weg ist, ist auch der Pool weg, da liegen die Metadaten drin. Consumer-SSDs würde ich da nicht riskieren.