Proxmox RAID

[MainSEL]

Hallo!

Ich habe einen Server dieser hat zur Zeit nur 300GB Festplattenspeicher. Ich würde gerne ein bisschen mehr Speicher kaufen. Es würde sich auch anbieten nun ein RAID zu machen. Leider habe ich sehr wenig Ahnung von RAID Systemen.

Ich weis ich auch noch nicht ganz welches RAID ich nehmen soll. Ich dachte an ein RAID5. Ich würde noch 2 300GB Platten kaufen. Dann hätte ich Insgesamt 900GB davon könnte ich ja 600GB nutzen. Die Frage ist jetzt wie ich das RAID machen soll.

Ich habe ein HPE ProLiant DL3800 G7. Diese besitzt ein Hardware Raid Controller. Kann man diesen nutzen oder kommt Proxmox damit nicht zurecht. Und könnet ich das RAID erstellen ohne das ich die Daten verliere?

 

[Dunuin]

Hallo!

Ich habe einen Server dieser hat zur Zeit nur 300GB Festplattenspeicher. Ich würde gerne ein bisschen mehr Speicher kaufen. Es würde sich auch anbieten nun ein RAID zu machen. Leider habe ich sehr wenig Ahnung von RAID Systemen.

Erstmal solltest du dich etwas in ZFS einlesen. Weil die große Frage ist dann ob du ZFS als Software Raid oder dein Hardware Raid vom Server nehmen willst. Hat beides Vor- und Nachteile.

Ich weis ich auch noch nicht ganz welches RAID ich nehmen soll. Ich dachte an ein RAID5. Ich würde noch 2 300GB Platten kaufen. Dann hätte ich Insgesamt 900GB davon könnte ich ja 600GB nutzen. Die Frage ist jetzt wie ich das RAID machen soll.

Raid5 wäre z.B. nicht wirklich ideal wenn du da VMs drauf laufen lassen willst. Da wäre Raid1 oder Raid10 besser. Raid5 wäre eher etwas, wenn du kostengünstig große Datenmengen speichern willst, was ja aber bei 3x 300GB HDDs nicht wirklich sinn macht, wenn dir da fast jede einzelne SSD/HDD mehr Platz liefert.

Ich habe ein HPE ProLiant DL3800 G7. Diese besitzt ein Hardware Raid Controller. Kann man diesen nutzen oder kommt Proxmox damit nicht zurecht.

Eigentlich sind HW Raid kein Problem für Proxmox. Musst du dann aber halt LVM nutzen und kannst kein ZFS mehr nehmen und dann fallen Features wie Kompression, Schutz vor schleichendem Dateiverfall, Deduplikation etc weg.

Und könnet ich das RAID erstellen ohne das ich die Daten verliere?

Ist eher schwierig. Vielleicht über Umwege wenn du nur Raid1 willst. Vermutlich wirst du alles extern sichern und dann zurückspielen müssen, nachdem das Array gebaut wurde.

 

[MainSEL]

Okay danke für die Antwort.
Ich finde RAID5 ist eigentlich ganz okay. Also was soll ich den am besten für eine Art RAID nehmen Soft - oder Hardware. Ich nutzte momentan nur alles normal. Also kein ZFS oder RAID. Die 300GB sind fast voll. Wenn ich jetzt ein RAID1 Mache und dann alles auf ZFS stelle wird dann ein bisschen Speicher frei?

 

[MainSEL]

Ich schau auch gerade ein Video zu ZFS. Ich könnte ja ein Software RAID machen. Das mit ZFS und den Type RAIDZ1 das ist ja fast so wie RAID. Ist das Sinnvoll?

 

[bobmc]

Proxmox uses ZFS for RAID which doesn't work with a hardware RAID controller such you have in your DL380 which is most likely a P410 or P420

Unfortunately changing the raid controller on old HP servers is not trivial as you will not only need to obtain a new controller you will also need to buy cables to connect the controller to the disk backplane and there is often very little room to route the cables easily .

As @Dunuin says, you can run Proxmox on the hardware raid controller - Proxmox just sees one big drive instead of several smaller ones. But performance is not great and HP are not good in providing access to drivers and updates for older hardware.

My advice? Ditch the DL380 and try and find alternative hardware ....

 

[MainSEL]

Okay.

Also ich werde den Server nicht wegwerfen. Ich bin eigentlich sehr zufrieden. Dies ist einfach nur ein Homeserver mit dem ich experimentiere. Dafür reicht er komplett aus. Also höre ich raus das Hardware RAID nicht so super ist. Wenn ich nun ein Software Raid mach mit ZFS ist das den gut?

Ich würde dann Proxmox neu installieren und gleich beim Installieren ZFS und RAIDZ1 auswählen.

 

[Dunuin]

Die Sache ist, dass ZFS nicht geht, wenn du bei dem HW Raid Controller alle Raid-Funktionalitäten nicht deaktivieren kannst. ZFS braucht direkten Zugriff auf die HDDs ohne irgendwelche mechanismen wie Raid dazwischen. Bei bobmc klang es ja so, als wenn du das bei deinem Server wohl nicht könntest. Dann bliebe dir eigentlich nur noch HW Raid.
Raid5 bringt dir halt mehr Platz aber macht die Festplatten nicht nennenswert schneller (höchstens etwas Leseleistung). Kann bei einem Raid5 mit 3 Platten sogar sein, dass das langsamer wird als deine einzene Platte jetzt, weil dir Raid5 dann noch Overhead erzeugt.

Am besten fährst du dann vermutlich, wenn du einfach die 300GB HDD nicht mehr benutzt und du dir dann zwei neue größere HDDs kaufst und diese als Raid1 nutzt. Oder 3 neue 300GB HDDs holen und dann als Raid10.

 

[MainSEL]

Okay. Ich bin mir nicht sicher ob ich bei meinem HP Controller alles deaktivieren kann. Aber ich werde das mal rausfinden. Wenn ich das könnte wäre das dann mit dem RAIDZ1 im ZFS gut?

Und wie würde ich am besten mein ganzes Proxmox sichern?

 

[Dunuin]

Raid5/Raid6 und das ZFS Gegenstück raidz1/raidz2 sind nie gut wenn du darauf VMs laufenlassen willst. VMs brauchen gute Latenzen und das ganze komplizierte Zeugs was Raid5/Raidz1 machen opfert Leistung für etwas mehr Kapazität.

Verstehe auch nicht so ganz was du mit so kleinen HDDs willst. Inzwischen passen da 18TB auf eine einzelne HDD, da macht es schon wegen dem Stromkosten nicht viel sind viele kleine HDDs zu kaufen anstatt wenigen großen. Viele kleine HDDs machen höchstens Sinn, wenn du mehr Leistung brauchst und keine SSDs nehmen willst, aber dann ist Raid5/Raidz1 verkehrt, weil das Leistung kostet und nicht erhöht. Nur bei Raid1/Raid10 erhöht sich auch die Leistung proportional zur Anzahl der Festplattenpaare.
Raid5 raubt dir da 2/3 der Leistung im Vergleich zu dem, was du hättest, wenn du die HDDs einfach direkt ohne Raid nutzen würdest.

Musst du halt gucken was dir lieber ist.
600GB Kapazität mit 2x Geschwindigkeit = 2 HDDs im Raid0
900GB Kapazität mit 3x Geschwindigkeit = 3 HDDs im Raid0
1200GB Kapazität mit 4x Geschwindigkeit = 4 HDDs im Raid0
300GB Kapazität mit 1x Geschwindigkeit + Ausfallsicherheit = 2 HDDs im Raid1
600GB Kapazität mit 2x Geschwindigkeit + Ausfallsicherheit = 4 HDDs im Raid10
600GB Kapazität mit 1x Geschwindigkeit + Ausfallsicherheit = 3 HDDs im Raid5
900GB Kapazität mit 1x Geschwindigkeit + Ausfallsicherheit = 4 HDDs im Raid5

 

[MainSEL]

Ja ich hätte gerne große HHDs das ding ist nur die 2.5 Zoll Format zu finden ist nicht so super. Und dann kosten die im 2.5 Zoll auch noch sehr viel.

 

[MainSEL]

Ich habe gerade nochmal geschaut. Komisch ist wenn ich 2.5 Zoll suche finde ich recht Preiswerte. Wenn ich auf die Shop Seite so gehe und Filter mache finde ich die ganzen nicht. Echt komisch

Ich denke das Problem war das ich immer SAS als Schnittstelle genommen habe. Die SATA Platten passen ja auch in SAS Ports oder bin ich da falsch

 

[MainSEL]

Ich habe gerade mal geschaut. Ich werde wieder 300GB Platten kaufen. Da diese 10.000 Umdrehung haben.

Also werde ich Proxmox neu installieren und dies mit ZFS RAID10 machen. Also 4x 300GB. Nutzen kann ich ja dann 600GB.

Ich wollte noch fragen ob das ein Problem ist wenn ich das Dateisystem ändere. Momentan läuft ja alles auf ext4. Ich würde dann die Backups von den VMs Speichern und wieder Restoren. Das Neu Proxmox wird mit ZFS laufen. Ist das dann ein Problem wenn ich die Backup Datei von ext4 einspiele?

 

[Dunuin]

Ja ich hätte gerne große HHDs das ding ist nur die 2.5 Zoll Format zu finden ist nicht so super. Und dann kosten die im 2.5 Zoll auch noch sehr viel.

Gerade da bieten sich dann ja eigentlich SSDs an. Sind sowieso 100x schneller bei kleinen Schreibvorgängen, wo Festplatten ja Probleme mit haben und bieten auch größere Kapazitäten als HDDs.

Ich denke das Problem war das ich immer SAS als Schnittstelle genommen habe. Die SATA Platten passen ja auch in SAS Ports oder bin ich da falsch

SATA an SAS würde höchstens über Adapterkabel gehen. Und der Controller muss da mitspielen. Und wenn du eine SAS-Backplane hättest, dann würden da ja eh keine Adapterkabel ran gehen.

Also werde ich Proxmox neu installieren und dies mit ZFS RAID10 machen. Also 4x 300GB. Nutzen kann ich ja dann 600GB.

Musst du wie gesagt dann einmal testen. Kannst du die alte HDD ja mal sicherheitshalber abstecken und die neuen 3 HDDs ran und gucken, ob da Proxmox die 3 Platten auch alle einzeln erkennt und nutzen kann. Wichtig ist halt, dass da dann keinerlei Raid, Caching oder sonst was mehr vom Controller aktiv ist. Sonst kann dir das früher oder später den Pool zerschießen.
Außerdem nicht vergessen, dass man einen ZFS Pool nicht mehr als 80% füllen sollte. Von den 600GB sind dann also effektiv nur 480GB nutzbar. Und ZFS braucht ordentlich RAM. So 4-8 GB erhöhten RAM-Verbrauch solltest du da schon einplanen.

Ich wollte noch fragen ob das ein Problem ist wenn ich das Dateisystem ändere. Momentan läuft ja alles auf ext4. Ich würde dann die Backups von den VMs Speichern und wieder Restoren. Das Neu Proxmox wird mit ZFS laufen. Ist das dann ein Problem wenn ich die Backup Datei von ext4 einspiele?

Ich meine das sollte gehen. Wenn du jetzt ext4 nutzt, dann sind deine VMs vermutlich als qcow2 gespeichert und Proxmox kann zwischen qcow2 und raw konvertieren. Nicht vergessen auch alles andere zu speichern wie den "/etc/pve"-Ordner. Dann kannst du im Notfall nachgucken wie deine alte Konfiguration war, weil ja alles außer den VMs verloren geht. Also z.B. deine Netzwerk-Einstellungen, Firewall-Regeln etc.

 

[MainSEL]

Ja SSDs sind ja auch etwas teurer.

Ich habe gerade mal geschaut wie ich den Controller deaktiviere.
https://znil.net/index.php/HP_ProLiant_Onboard_Controller_/_SmartArray_deaktivieren

Das müsste es doch sein oder?
Und muss ich sonst noch was beachten?

 

[Dunuin]

Ja SSDs sind ja auch etwas teurer.

Bevor du viel Geld für HDDs ausgibst könntest du auch mal gucken, ob du günstige gebrauchte SAS Enterprise SSDs auftreiben kannst. Meine SSDs gibt es definitiv auch als SAS Ausführung und die SATA Ausführung gab es für rund 100€ mit 800GB (falls man da mal welche findet). 2x 800GB SSDs für 200€ im raid1 wären dann auch kein schlechter deal.

Ich habe gerade mal geschaut wie ich den Controller deaktiviere.
https://znil.net/index.php/HP_ProLiant_Onboard_Controller_/_SmartArray_deaktivieren

Das müsste es doch sein oder?

Das deaktiviert dir glaube ich nur den ganzen Controller. Dann kannst du den überhaupt nicht mehr nutzen. Der Controller muss schon irgendwie noch laufen, aber halt ohne die Raid Funktionen. Manchmal kann man eine andere Firmware drauf flashen und den Raid Controller so zum normalen HBA machen. Teils reicht es auch, wenn man den Raid Controller in den JBOB Modus stellt.

 

[MainSEL]

Ich würde für eine 300GB Platte nur 30€ zahlen.

Und merke ich irgendwie ob der Controller richtig deaktiviert ist?

 

[Dunuin]

Ich würde für eine 300GB Platte nur 30€ zahlen.

Und merke ich irgendwie ob der Controller richtig deaktiviert ist?

Wenn der als normaler HBA laufen würde, dann könntest du z.B. die HDDs einzeln im BIOS sehen und als Boot Laufwerk auswählen. Und du könntest mit smartctl die SMART-Attribute von den HDDs auslesen.

 

[MainSEL]

Okay. Denn werde ich das mal so machen. Dieses smartctl finde ich wo?

 

[Dunuin]

Okay. Denn werde ich das mal so machen. Dieses smartctl finde ich wo?

Indem du smartctl auf der Konsole ausführst. Z.B. mit smartctl -a /dev/sda oder wie auch immer deine HDD heißen sollte. Sollte Proxmox eigentlich installiert haben.

 

[MainSEL]

Und wie soll das ungefähr aus sehen?



Bei mir sieht es jetzt so aus. Aber der Controller ist ja noch aktive.