[SOLVED] Config-Empfehlung: RAID, ZFS oder was?

[datenimperator]

Hallo,

ich werde Proxmox 5 auf einem neuen Server installieren. Die Büchse hat neben einer SSD für das OS einen LSI Megaraid Controller mit 4x4TB Platten daran.

Was ist die aktuelle Empfehlung für die Konfiguration? Sollte ich ein RAID 5 oder 10 am Controller einrichten, oder die Platten als JBOD durchschleifen und ZFS nutzen?

Ich würde mich über Tipps freuen. Mit besten Grüßen

Christian

 

[fireon]

Ich selbst bin ja ein großer Fan von ZFS und mir kommt nichts mehr anderes in's Haus.

1. Benötigst du die Features von ZFS und bist bereit dich auch ein wenig einzulesen und zu lernen/testen wie man damit umgeht?
2. Wieviel RAM hat die Maschine?
3. Die LSI Controller kann man zu einem HBA Controller umflashen.
4. Falls du auch nur Ansatzweise Performance benötigst nimm bitte kein Raid 5. Ein Raid50 wäre schon ok, dafür benötigst du aber mind. 6 Platten.

Deutsche Doku: https://deepdoc.at/dokuwiki/doku.php?id=server_und_serverdienste:linux_zfs

 

[datenimperator]

1. Benötigst du die Features von ZFS und bist bereit dich auch ein wenig einzulesen und zu lernen/testen wie man damit umgeht?
2. Wieviel RAM hat die Maschine?
3. Die LSI Controller kann man zu einem HBA Controller umflashen.
4. Falls du auch nur Ansatzweise Performance benötigst nimm bitte kein Raid 5. Ein Raid50 wäre schon ok, dafür benötigst du aber mind. 6 Platten.

Vielen Dank dafür, auch den Link.

1. Keine Ahnung. Mir geht es um die möglichst wartungsarme Redundanz, damit ich im Falle eines Festplattenproblems möglichst keine Daten verliere. Mit Linux bin ich recht fit, von ZFS weiss ich exakt nichts. Lernen ist ok, "Platten betreiben" aber kein Selbstzweck.
2. 32 GB. Für ZFS plus Virtualisierung wohl zuwenig? Stimmt die Faustregel "1GB RAM pro TB Plattenplatz plus 4GB RAM"?
3. Die haben IMO auch direkt eine JBOD Option, meine zumindest sowas gesehen zu haben.
4. Mehr Platten wollte ich eigentlich erstmal nicht kaufen. Welche Optionen habe ich mit den 4 Platten?

Viele Grüße

Christian

 

[hronny]

Ich stand derzeit auch vor dem Problem mit dem LSI Controller und den Platten. Die derzeitige Lösung ist:
LSI Controller in den JBOD Mode setzen. 2 kleine Platten als Raid 1 konfigurieren und als Bootvolume verwenden. Darauf läuft nur Proxmox. Die restlichen Platten dann über SSH manuell mittels zpool create -f -o ashift=12 rpool mirror zu einem ZFS Pool erstellt. Dann noch zwei Enterprise SSDs als Cache hinzugefügt und das "local-zfs" über die Proxmox Oberfläche angelegt.
Somit denke ich, habe ich erstmal guten Schutz durch das Raid1 vom Controller, welche ich im Desasterfall einfach per Hotswap auswechseln kann. Backup vom Grundsystem habe ich auch. Und die Vorteile von ZFS kann ich voll nutzen.

Egal was ich am Controller versucht hatte, es lässt sich immer nur eine Festplatte/Volume als Bootlaufwerk anlegen. Wenn alle Platten als JBOD genutzt werden, kann Proxmox als ZFS installiert werden aber startet dann nicht. Somit ist mein Raid1 die derzeitige Wahl.

Allerdings muss ich sagen, dass unser System im Normalen Betrieb mit 25 VMs so 120GB Ram verbraucht und die kompletten 384GB Ram bei einem Restore einer VM schon mal voll ausgelastet sein kann. Deshalb habe ich das ZFS Projekt mit den alten Maschinen mit 32GB aufgegeben.

 

[datenimperator]

@hronny: Danke dafür.

Das OS incl des Bootlaufwerks liegt auf der SSD. Die 4 Platten sind nur Datenspeicher für VMs. Bzgl des RAM starte ich jetzt direkt mit 64GB. Wir werden sehen.

 

[fireon]

@hronny
Jeden LSI Contoller (zumindest meines Wissens) kann man zu einem braven SAS Controller umflashen. Hab ich mit meinen zwei IBM-SAS2008 auch gemacht. Muss ein wenig in den BSDforen suchen. Geht aber meist nur mit nem DOS-Stick.

 

[fireon]

1. Keine Ahnung. Mir geht es um die möglichst wartungsarme Redundanz, damit ich im Falle eines Festplattenproblems möglichst keine Daten verliere. Mit Linux bin ich recht fit, von ZFS weiss ich exakt nichts. Lernen ist ok, "Platten betreiben" aber kein Selbstzweck.

ZFS heilt sich wie Ceph selbst, ausserdem: Platten vom defekten Server raus, in neuen Server rein, einschalten und freuen.

2. 32 GB. Für ZFS plus Virtualisierung wohl zuwenig? Stimmt die Faustregel "1GB RAM pro TB Plattenplatz plus 4GB RAM"?

Ich hab hier auch 32GB zuhause am laufen, könnte aber schon knapp werden. Mit 64GB bist auf jedem Fall dabei, kommt natürlich drauf an was du alles drauf hast. Man kann den RAMconsum für ZFS ja einstellen. Ich fahr da jetzt mit 11GB.

3. Die haben IMO auch direkt eine JBOD Option, meine zumindest sowas gesehen zu haben.

Das vergiss gleich wieder mal, ist ein Notnagel, würd ich aber nicht empfehlen. Controller neu flashen und gut ists.

4. Mehr Platten wollte ich eigentlich erstmal nicht kaufen. Welche Optionen habe ich mit den 4 Platten?

SQL-Server würd ich da nicht drauf lassen. Aber für alles andere je nach I/O Last könnte es genügen im Raid10. Alles andere ist bei 4 normalen Platten sinnlos. Da hättest keine Freude. SSD Cache wirst noch brauchen, also eine Enterprise SSD. Hmm ja, dann könntest natürlich (fallst den Speicher wirklich benötigst ein RaidZ mit der Cache SSD machen.

 

[hronny]

Jeden LSI Contoller (zumindest meines Wissens) kann man zu einem braven SAS Controller umflashen.

Das hatte ich schon gelesen. Allerdings bin ich da etwas vorsichtig bei solchen Dingen. Bei einer Maschine die über 20 Riesen kostet und der Controller schon über 1000 Euro mit 24/7/4h Support möchte ich nicht unbedingt einen Garantieverlust herausfordern. Denn ich gehe davon aus, dass das eine nicht offizielle Firmware ist, die da geflashed wird.

 

[HBO]

Also wir haben ein System mit zBsp diesem Controller: http://www.supermicro.com/products/accessories/addon/AOC-S3108L-H8iR.cfm
Unser Distri hat vorher angefragt ob wir den als HBA oder Raid Controller benutzen wollen, dieser läuft nun im HBA Modus. Wenn du da ein komplettes System stehen hast, frag halt mal beim Händler an oder ggfl Hersteller.

 

[fireon]

Das hatte ich schon gelesen. Allerdings bin ich da etwas vorsichtig bei solchen Dingen. Bei einer Maschine die über 20 Riesen kostet und der Controller schon über 1000 Euro mit 24/7/4h Support möchte ich nicht unbedingt einen Garantieverlust herausfordern. Denn ich gehe davon aus, dass das eine nicht offizielle Firmware ist, die da geflashed wird.

Also wenn das Teil um 1000 Euro kein HBA kann... also echt... aber ja ich kenn das auch das von manchen Herstellern hier wieder ne eigene Firmware draufgepackt wird. Das ist dann natürlich fieß. Und Support hast auch drauf... ja das wird im Supportfall dann böse enden. Hast schon direkt mit dem technischen Support hierüber gesprochen? Vielleicht gibt es ja doch wo ne Option. Ansonsten vom Hersteller Controller tauschen, oder HW Raid verwenden.

Also wenn ich ne 20iger für ne Maschine ausgebe, dann muss ich halt vorher schauen das ich die richtige Hardware für mein OS/Dateisystem habe. Dell ist da recht nett. Die sind super Unixfreundlich. Im Gegesatz zu HP, die sind da ein Graus. Wegen HP Hardware hab ich schon jede Menge Haare verloren.

 

[datenimperator]

Danke an alle, die Kiste rennt mit 4 Platten, einer 250GB NVMe SSD als Cache und 64GB RAM. Soweit alles schön.