Best Practice bei der Einrichtung von Proxmox

[AntiLink]

Hallo zusammen,

ich bin derzeit dabei mir eine NAS/Virtualisierungssystem einzurichten und habe mir folgende Hardware schon angeschafft:

• ASRock Rack X470D4U
• Ryzen 5 3600X
• 1 x 16 GB ECC
• 4 x 2 TB Seagate IronWolf NAS (Raid 5)
• 2 x 128GB SSD (entweder Hardware Raid 1 oder 1 x 128 GB System (nonRAID) und 1 x 128 GB Cache für Raid 5).
• 1 x 3 TB Für Backups
• U-NAS NSC 810A - 8 Bay
• 1 x LSI Megaraid SAS 9261-8i

Aktuell ist fast alles da außer Case und PSU, weshalb ich vorher mit eurer Unterstützung etwas einlesen kann


Gerne würde ich folgende VM‘s auf dem Bare Metal Hypervisor realisieren:

• 2 x Nextcloud
• Bitwarden
• Wekan
• Webserver (NGIX), Reverse Proxy
• fail2ban

Auch soll in Zukunft zur ein MS Testlabor für angehende Zertifizierungen/Weiterbildungen eingerichtet werden.


Da ich kompletter Neuling in der Welt von Linux bin und ich mich in die Welt von Linux einarbeiten möchte, denke ich das ich dies am besten mit Learning-by-doing bewältigen kann. Ich möchte mich persönlich weiterentwickeln und nicht nur Windows Administrieren.



Folgende Fragen beschäftigen mich aktuell:

• ZFS ist ja nichts anderes wie ein Software Raid welches auf CPU und Ram für die Berechnung ausweicht. Das was ein Raid Controller (Hardware RAID) mit Cache und BBU separat übernimmt und die CPU/RAM während der Berechnung schont. Intern auf dem Board sind 6 x SATA Anschlüsse vorhanden mit denen ich RAID 0, 1 und 10 Einrichten kann, jedoch möchte ich auf RAID 5/6 setzen und daher den LSI Raid Controller hierfür verwenden würde.
• Da ich mit den o.g. Komponenten eine gewisse Ausfallsicherheit benötige, möchte ich dies mit einem Hardware RAID 5/6 mittels RAID im BIOS/UEFi vorkonfigurieren und dann Volume erstellen. Soll ich das Volumen dann in LVM Thin konfigurieren da wie ich gelesen habe das nur dort Snapshots erstellt werden können? Ist das der einzige Unterschied zu LVM? Wie sieht es mit der Ausfallsicherheit bei ZFS aus wenn mir eine oder 2 Festplatten abrauchen aus? Der Faktor „Zeit“ spielt für mich eher eine Untergeordnete Rolle, da es für mich viel wichtiger ist die Daten am Ende vollzählig aufzufinden. Falls beides möglich ist, wäre dies natürlich Optimal.
• Welche Vorteile überwiegen bei ZFS als bei einem Hardware RAID?

Wäre für jede Hilfe jeglicher Art sehr dankbar und wünsche euch einen guten Rutsch ins Jahr 2020



Grüsse AntiLink

 

[wolfgang]

Hallo

ZFS ist viel mehr als nur ein SW Raid[1].
Die meisten am MB befindlichen "HW Raid" sind in der Regel nur SW Raid welche im Bios integriert sind.
HW Raid ist auch nicht gleich HW Raid. Der Feature Umfang ist sehr unterschiedlich.
Wobei grade die Billigen keine Daten Integriergeräts Schutz bieten, dazu werden teure mit SAS Platten benötigt.
Ja ZFS brauch Memory und CPU.
Memory kann man um das Geld was ein HW Raid kostet ohne Problem bekommen.
Und die CPU ist bei den meisten normalen Usern zu vernachlässigen.

Raid5/6 würde ich dir bei Virtualisierung nicht empfehlen da die Geschwindigkeit sehr darunter leidet.
Raid 10 ist da viel besser.


1.) http://www.open-zfs.org/wiki/Features

 

[scaa]

ZFS ist sicher eine tolle Sache, aber man muss sich damit auskennen. Das ist nicht trivial. Ich lass da die Finger von. In Ernstfall sind mir die Verwaltungsobverflächen der bekannten HW-Raidcontroller lieber.
Ich habe hier einen Server mit ZFS und um die 20 Stück mit Hardware-Raid-Controllern. Keine Motherboard-Controller, die sind fast immer mit Linux inkompatibel, sondern Adaptec/LSI mit BBU, auch noch einige 3Ware. Damit habe ich gute Erfahrungen gemacht.
Du hast zudem viel zu wenig RAM für ZFS. Das geht auf jeden Fall in die Hose. Auch für die anderen Anwendgen ist das zu wenig. 128 GB oder mehr sind anzuraten.

Die Performance mit Raid 5 oder 6 ist jedoch mit SATA/SAS mehr als mies, egal ob mit ZFS oder HW-Raid. Kann davon nur abraten. Lediglich als Datenspeicher für Nextcloud etc. geeignet. Keinesfalls als Webserver oder gar Datenbankserver. Wenn dann nur als Raid-10. Aber setze besser auf Enterprise-SSDs, sofern das Budjet dies noch zuläßt.

 

[AntiLink]

Hallo Wolfgang, Scaa,

vielen dank für die Informationen.

Aktuell besitze ich ein HW Raid Controller mit Cache und BBU.
Werde dann mal das ganze ohne ZFS aufsetzen, da es für mich schon den Preislichen Rahmen mit dem Case gesprengt hat.
Ich denke ich werde dies mit RAID 10 aufsetzen, da ich keine grossen Performance Einbussen wie bei RAID 5/6.
Habe dann zwar nur
50 % meine Speicherkapazität zur Verfügung, aber Performance sowie ein gewisse Ausfallsicherheit mit bis zu einem Plattenfehler in jedem Sub-Array. Dementsprechend mache ich dann noch ein Backup auf eine separate 3 TB HDD.
Ich denke, je nach Auslastung werde ich mir zwischen Januar/Februar ein weiteren 16 GB DDR4 Riegel kaufen.
War bei ZFS nicht 1 GB RAM pro 1 TB die Regel ?

Grüsse AntiLink

 

[wolfgang]

War bei ZFS nicht 1 GB RAM pro 1 TB die Regel ?

Ja aber pro benutzte Daten.
Also Raid10 mit 4 mal 10TB platten kann max mit 16 TB genutzt werden.
So wären max 16GB Metadaten im Speicher.
Dazu kommt noch der ARC cache welcher min 4GB speicher haben soll.