ZFS mit Raid Controller ?

[fpausp]

Hab zwei Server mit Adaptec Raid Controller in Verwendung (6405) und würde gerne ZFS ausprobieren.

Was müssen die Controller können um sinnvoll ZFS laufen zu lassen? Oder is es besser gleich direkt den SATA am Mother zu nehmen ?

 

[dietmar]

ZFS mit RAID Controllern ist nicht empfohlen (höchtens im JBOD mode).

 

[fpausp]

Also ist SATA am Board eh schon optimal oder gibt es spezielle Controller für ZFS ?

 

[scaa]

Ohne wirklich viel RAM würde ich immer beim Controller-Betrieb bleiben.

Wir haben hier auf einem Testserver:
1 x Xeon E3-1260Lv5 2.9 GHz
X11SSL-F
32 GB RAM DDR4
4x SAS Hitachi SAS Ultrastar 7k4000 HUS724040ALS640
im Raid-10 Modus mit ZFS
--> arschlam

 

[fpausp]

Hast du auf dem Testserver schon mal Proxmox ohne ZFS verwendet ?

Ich glaube mich zu erinnern das man pro TB ein GB Ram einplanen sollte...

 

[tom]

Ohne wirklich viel RAM würde ich immer beim Controller-Betrieb bleiben.

Wir haben hier auf einem Testserver:
1 x Xeon E3-1260Lv5 2.9 GHz
X11SSL-F
32 GB RAM DDR4
4x SAS Hitachi SAS Ultrastar 7k4000 HUS724040ALS640
im Raid-10 Modus mit ZFS
--> arschlam

ein geeignetes ZIL log device dazu (schreibcache) und das ganze ist superschnell.

 

[scaa]

nein habe ich nicht. Da läuft mittlerweile ein Debian mit BackupPC und noch eine zweite VM für kleine Tests:
32 GB RAM sollte eigentlich genug sein für einen Server der "nur" ein paar Backups aufnimmt und CPU ist ja auch nicht gerade langsam.
Ist jetzt aber nicht so tragisch. Für Server mit Produktiv-VMs setze ich aber nur SSDs im Raid-10 mit Adaptec 8805 ein. Das läuft wie geschmiert.

 

[scaa]

ein geeignetes ZIL log device dazu (schreibcache) und das ganze ist superschnell.

Muss das eine SSD sein oder eine SAS Platte? Kannst Du kurz erläutern wie das geht?
Vielleicht wäre das eine Option.

Was passiert wenn so eine Zusatzplatte defekt geht und ausfällt?

 

[tom]

Muss das eine SSD sein oder eine SAS Platte? Kannst Du kurz erläutern wie das geht?
Vielleicht wäre das eine Option.

Was passiert wenn so eine Zusatzplatte defekt geht und ausfällt?

zb auf: https://pve.proxmox.com/wiki/ZFS_on_Linux
ich habe gute erfahrung mit Intel DC 3700/3710 (200 GB), bitte nur sehr verlässliche SSDs nehmen.

eine google suche zum thema zfs zil/slog liefert auch viele detailinformationen.

 

[fpausp]

Intel SSD 540s 180GB ???

 

[fpausp]

# Intel DC 3700
Bauform: Solid State Drive (SSD) • Formfaktor: 2.5" • Schnittstelle: SATA 6Gb/s • lesen: 500MB/s • schreiben: 365MB/s • IOPS 4K lesen/schreiben: 75k/32k • Speicherzellen: 2D-NAND MLC (HET), 25nm • TBW: 3737.6TB • MTBF: 2 Mio. Stunden • Controller: Intel PC29AS21CA0 • Protokoll: AHCI • Verschlüsselung: 256bit AES • Leistungsaufnahme: 4.8W (Betrieb), 0.8W (Leerlauf) • Abmessungen: 100x70x7mm • Besonderheiten: Power-Loss Protection • Herstellergarantie: fünf Jahre

# Intel SSD 540s
Bauform: Solid State Drive (SSD) • Formfaktor: 2.5" • Schnittstelle: SATA 6Gb/s • lesen: 560MB/s • schreiben: 475MB/s • IOPS 4K lesen/schreiben: 71k/85k • Speicherzellen: 2D-NAND TLC, 16nm, SK Hynix • MTBF: 1.6 Mio. Stunden • Controller: Silicon Motion SM2258, 4 Kanäle • Cache: N/A • Protokoll: AHCI • Verschlüsselung: 256bit AES • Leistungsaufnahme: 0.09W (Betrieb), 0.05W (Leerlauf) • Abmessungen: 100x70x7mm • Besonderheiten: N/A • Herstellergarantie: fünf Jahre

 

[LnxBil]

Mein Standard-Link für ZIL-geeignete SSDs:

http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

Ich möchte noch erwähnen, dass ZIL nicht immer das System schneller macht, sondern nur bei synchronen Schreibzugriffen. Wenn die Anwendung die man gerade verwendet das nicht macht, werden die Daten am ZIL vorbei auf die Platten geschrieben.

Ich kann auch mit der Aussage:

--> arschlam

Nicht so viel anfangen. Hast du ein paar Daten um das zu untermauern? Bei Hardware-RAID-Controllern gibt es auch solche und solche :-D

 

[scaa]

Ich wollte hier gar nicht so viel Reaktion lostreten
ZFS haben wir mal bei dem besagten Server genommen, um auch mal die Variante ohne teure Raidcontroller auszutesten. Im Endeffekt habe ich davon aber Abstand genommen, weil der Administrationsaufwand viel größer ist (und auch unbekanntes Gebiet) und mehr RAM gebraucht wird (->Kosten), jetzt ggf. auch noch ne weitere SSD (-> noch mehr Kosten). Also ich bleibe da lieber bei den Controllern

Nicht so viel anfangen. Hast du ein paar Daten um das zu untermauern?

Keine konkreten Messdaten oder Vergleichsdaten. Aber ich sehe die sehr großen Load und IO-Waitwerte wenn die Platten Schreibzugriffe haben und dort beispielsweise Backups aufgeladen werden. Die Last ist dann wirklich spürbar höher als auf anderen Servern dieser Art, die mit Controllern betrieben werden. Für den Zweck dieser Server hier ist das nicht weiter tragisch, aber ZFS als Variante zum Kostensparen war leider kein Erfolg.

 

[fireon]

ein geeignetes ZIL log device dazu (schreibcache) und das ganze ist superschnell.

Den kann ich nur zustimmen. Würde nie mehr was anderes als ZFS oder Ceph verwenden! Raidcontroller? Also wirklich jetzt, sowas benötigt man nicht

 

[fireon]

Ich wollte hier gar nicht so viel Reaktion lostreten
ZFS haben wir mal bei dem besagten Server genommen, um auch mal die Variante ohne teure Raidcontroller auszutesten. Im Endeffekt habe ich davon aber Abstand genommen, weil der Administrationsaufwand viel größer ist (und auch unbekanntes Gebiet) und mehr RAM gebraucht wird (->Kosten), jetzt ggf. auch noch ne weitere SSD (-> noch mehr Kosten). Also ich bleibe da lieber bei den Controllern
Keine konkreten Messdaten oder Vergleichsdaten. Aber ich sehe die sehr großen Load und IO-Waitwerte wenn die Platten Schreibzugriffe haben und dort beispielsweise Backups aufgeladen werden. Die Last ist dann wirklich spürbar höher als auf anderen Servern dieser Art, die mit Controllern betrieben werden. Für den Zweck dieser Server hier ist das nicht weiter tragisch, aber ZFS als Variante zum Kostensparen war leider kein Erfolg.

Naja wir brauchten für ZFS natürlich auch ein wenig Erfahrung. Aber im Endeffekt ist es die bessere Wahl. Du bist super flexibel und das Teil geht ab wie die Hölle. Natürlich für nen Backupserver 32GB Ram passt. Für normale produktivserver mit ca. 200GB RAM passt auch, aber das ist ja eh Standard. Und das mit I/O Wait ist gefinkelt, da ja alles über deinen Raidcontroller (Firmware) läuft siehst du das bei deinem Hardwareraid einfach nicht. Wenn der Wert dort zum Ausschlagen beginnt, dann stimmt sicher mal was nicht sehe ich bei unseren Servern hier. Wir kopieren hier mit über 10Gbit und zuckt das Teil noch nicht mal. Zfs Rocks! Ausserdem darfst da nicht mit dem Argument Kosteneinsparen kommen (nicht nur). Du musst viel mehr die Features und Möglichkeiten sehen die du damit hast.

Vorallem: Wenn dein Raidcontroller kaputt ist, der Support herumzickt oder nicht schnell genug ein neuer das ist, die Raidinfo verloren geht... was auch immer, na dann möchte ich sehen schnell du das System wo anderes zum laufen bekommst, wennst nicht zufällig die gleiche Hardware mit der gleichen Reversion hast ist Schluss mit Lustig, konnte das bei HP einige male genießen. Dann setzt den Server neu auf und spielst die Daten zurück. Ist je nach Datenmenge auch lustig

Bei ZFS nimmst die Platten steckst wenn der Zielserver stark genug, einfach wo rein und schaltest die Mühle an. Event. noch Interfaces nachdrehen, das wars dann aber auch schon. Und schon läufts wieder. Außerdem wenn zu wenig RAM, kann man den ZIL auch begrenzen.

 

[hackmann]

Hallo,
ich denke dass das ZFS sehr gut ist, allerdings für den kleinen Betrieb nicht so unbedingt!

Nach diesem Video wurde mir klar, dass das ZFS Raid zu erweitern nicht so einfach ist

Soweit ich richtig informiert bin, kommt ZFS aus der Solaris Welt,

und Solaris ist dick im Geschäft, da geht es nicht um 2 oder 6 Festplatten, das geht es um viel mehr.
Ich arbeite seit der Proxmoxversion 3 und ständige Neuerungen bleiben natürlich nicht aus.

Was das Raid angeht von ZFS, dann sollte man auch mal die Nachteile nennen! Was die Raid-Sets angeht.

Aber wenn man komplett auf Opensolaris setzt, dann hat man dass

Die Herausforderung was Proxmox in den letzten Jahren angeht, finde ich enorm.

gruss

 

[LnxBil]

Nach diesem Video wurde mir klar, dass das ZFS Raid zu erweitern nicht so einfach ist

Auf was genau spielst du an? Ein Mirror aus 2 Festplatten kannst du prima mit einem zweiten Mirror aus zwei gleich großen, aber nicht notwendigerweise gleich große wie im ersten Mirror erweitern. Das ist identisch mit jedem RAID-Controller den ich je gesehen habe.

Und es macht keinen Sinn z.B. einen 12 disk vdev nur mit 2 Disks zu erweitern, da nimmt man gleich ein gleich großes vdev mit nochmals 12 Disks. Das würde man in jedem anderen RAID auch so machen.

und Solaris ist dick im Geschäft,

Leider nicht mehr. Seit dem Oracle die Hardwaresparte gekauft hat geht Solaris den Bach herunter und viele wenden sich von der einst so tollen Hardware ab. Ist echt schade, ich mochte die Hardware sehr.

 

[fireon]

Also ganz ehrlich jetzt ein ZFS erweiten ist ja nicht schwer. Einen einzigen Befehl kann man ja wohl eintippseln Z.b. ein Raid10 erweitern:

zpool add -o ashift=12 v-machines mirror <platte1> <platte2

Ein Nachteil ist auch meist ein Vorteil. Z.B. synct ZFS nicht alle bestehenden Daten auf die neuen Platten, dann hat erst nach einiger Zeit wenn mal schön befüllt die volle Power, hat aber sofort auf die Sekunde den vollen neuen Speicherplatz zur Verfügung. Es müssen nicht Terrabytes an Daten herum synchronisiert werden. Möchte man trotzdem schon volle Power haben muss man seine Datasets halt neu importieren. Aber auch das ist ja nun wirklich kein Problem, kann man ja mal über Nacht oder Wochenende automatisieren. Man hat ja meist nicht nur einen Server
Aber das habe ich bis jetzt erst einmal so gemacht. Ist normal nicht nötigt. ZFS schaut drauf das die neuen Platten schneller beschrieben werden wie die bestehenden.

Und meine Deutsche Doku zum nachlesen: https://deepdoc.at/dokuwiki/doku.php?id=server_und_serverdienste:linux_zfs