Intel NUC Speicher Planung

[dmq]

Hallo,

ich bin dabei mir ein System zusammenzustellen (ich bin neu bei PROXMOX, habe bisher immer vieles manuell zusammengestellt und betrieben).

Meine Anforderungen sind recht einfach: Mischung aus Linux und FreeBSD VM's, Docker Container, InfluxDB, Grafana - nichts, was besonders hohe Anforderung mit sich bringt.

Ich habe bisher folgende Komponenten:

1x NUC7i7DNHE + 1x 16 GB DDR4 RAM (werde ggf. auf 32 GB RAM upgraden)
1x Samsung 870 EVO 500GB SSD

Ich überlege mir zudem eine Samsung 970 EVO Plus 500 GB NVMe M.2 zuzulegen.

Ich habe keine weitere (größere) Peripherie wie ein NAS o.d.

Wie würden ihr den Speicher auslegen - welches Dateisystem / Volume-Management empfehlt ihr?

(auch wenn mir die Datensicherheit wichtig ist, würde ich auf Enterprise Grade Storage verzichten) - lieber wären mir tägliche / wöchentliche Backups.

Zurzeit überlege ich es wie folgt zu machen:

Proxmox auf der (langsameren) Samsung 870 EVO 500GB SSD. Ich weiß nicht wie viel Speicher Proxmox braucht und wie es initial partitioniert wird, aber den Rest würde ich dann als Backup Bereich nutzen. Alle VMs und Container auf der neu anzuaschaffenden M.2 NVMe (da mehr Geschwindigkeit). Zudem ggf. ein USB3 (Stick, Disk) zur Speicherung der Proxmox Partition um im Fehlerfall ein "externes" Backup zu haben. Ich denke ich würde alles mit LVM und ext4 machen.

Eine Alternative wäre ein RAID1 (ZFS?) zwischen der Standard SSD und der M.2 NVMe (die Geschwindikeit würde runtergerissen werden - gibt es weitere Probleme?), damit dann Boot und Daten auf einen RAID1. Dann noch eine USB3 Disk extern zum Backup.

Könnt ihr mir helfen / Tipps geben?


Danke euch

 

[Dunuin]

Wenn du auf ZFS (enterprise SSDs sowie ECC RAM empfehlenswert) verzichten willst nicht vergessen, dass da Backups nur vor Datenverlust beim Plattenausfall schützen aber nicht vor Datenkorruption. Hast du schleichenden Datenverfall (Bit Rot) bekommst du nicht mit, wenn da Daten kaputt gehen und dann sicherst du dir über Monate/Jahre kaputte Dateien in deinen Backups und wenn es dir dann irgendwann auffällt, dann befinden sich nur kaputte Versionen der Dateien in allen Backups, da die heilen Backups bereits überschrieben wurden. Will man da wirklich sicher gehen, dass da die Daten nicht mit der Zeit kaputt gehen, dann bräuchte man schon ECC RAM, Enterprise SSDs und ein Dateisystem wie ZFS was regelmäßige Datenintegritätschecks durchführt. Neben reichlich RAM-Verbrauch schreibt ZFS aber auch sehr schnell die SSDs kaputt, weshalb da Consumer SSDs mit ihrer schlechten Haltbarkeit nicht das Wahre sind.
Also wenn dir die Datenintegrität und Zuverlässigkeit wichtig sind würde zwei Enterprise SSDs holen (M.2 + SATA) und die dann mit ZFS spiegeln. Verlierst du wie du schon sagtest die NVMe Performance aber dafür läuft dein NUC dann wenigstens noch normal weiter wenn eine SSD ausfällt (was sie früher oder später wird).

Wenn dir da Consumer Grade reicht würde ich einfach nur die M.2 SSD für alles mit LVM-Thin nutzen. PVE reicht da so 16-32GB als Systemdisk sofern du keine Backups/ISOs/Templates drauf speichern willst. Der Rest kann dann als LVM-Thin zum Speichern von VMs/LXCs genutzt werden. Aber nicht vergessen, dass da LVM-Thin keinerlei Dateien speichern kann. Alles was keine virtuelle Disk für VMs/LXCs ist muss auf dem Root-Dateisystem (also die PVE System Partition) gespeichert werden. Also eventuell mehr als die 16-32GB einplanen für ISOs und Co. Wenn du kein NAS hast dann würde ich noch eine SATA SSD/HDD für Backups einbauen. Nicht vergessen, dass da Vzdump keine inkrementellen Backups macht. Willst du also mehr als ein Backup pro VM haben, dann sollte deine Backup-Disk schon ein vielfacher der Größe des VM Storages haben. Für platzsparendere Backups müsstest du schon einen Proxmox Backup Server (PBS) in einem LXC aufsetzen.

 

[dmq]

Danke @Dunuin - das hilft mir schon einmal gut weiter.

Ich werde mal die Kosten im Bereich Enterprise-Grade aufstellen (kannst Du mir ggf. einen Hersteller für die SSDs empfehlen - Intel?). Die Vorzüge von ZFS (Integrität etc.) wäre schon gut zu haben - es ist mir in der Tat wichtiger als die Performanz. Planung sind 32 GB RAM (zurzeit allerdings auch nicht ECC, was u.a. bei ZFS dann wohl auch nicht das wahre ist) - somit eine weitere Investition.

Kommen wir noch mal zu Consumer-Grade. Wenn ich das richtig sehe, kann ich bei der Installation (via bspw. USB Stick) dann die M.2 Platte auswählen (bisher habe ich es noch nicht vor mir gehabt). Das PVE würde dann direkte Partitionen (bspw. /boot, / und swap?) anlegen, oder Logical Volumes? Kann ich das bei der Installation beeinflussen (somit bspw. PVE 64 GB für ISO's etc. zuweisen)? Kann ich die Systemumgebung (/boot + /) von PVE dann auch einzeln wegsichern bzw. wiederherstellen?

Die 2. SSD könnte ich dann als Backup-Disk im System halten - Du hast vollkommen recht: 1. müsste die Kapazität betrachtet werden (momentan erwarte ich keine höhere Auslastung auf der Systemdisk, aber wir kennen das ja). - Inkremente wären somit gut 2. Backup von korrupten Daten - Integritätsprüfungen oder auch manuelle Prüfungen (die ich dann ohnehin nicht mache) wären wichtig.

Proxmox Backup Server kannte ich bisher auch nicht - müsste ich mir mal ansehen.

 

[Dunuin]

Danke @Dunuin - das hilft mir schon einmal gut weiter.

Ich werde mal die Kosten im Bereich Enterprise-Grade aufstellen (kannst Du mir ggf. einen Hersteller für die SSDs empfehlen - Intel?). Die Vorzüge von ZFS (Integrität etc.) wäre schon gut zu haben - es ist mir in der Tat wichtiger als die Performanz. Planung sind 32 GB RAM (zurzeit allerdings auch nicht ECC, was u.a. bei ZFS dann wohl auch nicht das wahre ist) - somit eine weitere Investition.

Bei M.2 hast du nicht so viel Auswahl wenn es um Enterprise SSDs geht. Da brauchst du halt mehr Platz als bei Consumer Grade SSDs und M.2 hat einfach zu wenig Platz auf der Platine. Enterprise SSD haben meist schnelleren+robusteren NAND (z.B. SLC/MLC statt TLC/QLC) der dafür aber weniger Kapazität bei gleicher Baugröße hat, man muss also mehr Chips unterbringen für die gleiche Kapazität. Und dann haben Enterprise SSD eine eingebaute Notstromversorgung, dass du da keine Daten verlierst wenn es z.B. zum Stromausfall kommt und da braucht man wieder massig Platz für die Kondensatoren die den Notstrom speichern. Meistens sind die Enterprise M.2 SSDs dann 22x110mm und nicht 22x80mm und doppelseitig bestückt und lassen sich daher schlecht kühlen und passen nicht auf jedes Mainboard. Die meisten NVMe Enterprise SSD nutzen daher U.2 im 2.5" Formfaktor oder kommen gleich als PCIe-Karten. M.2 war halt ursprünglich für Laptops gedacht.

Hier sind alle Enterprise M.2 SSDs für Mixed Workloads (sind nicht so schnell kaputt geschrieben):
https://geizhals.de/?cat=hdssd&v=e&hloc=at&hloc=de&sort=p&bl1_id=30&xf=4643_Power-Loss+Protection~4832_3~4832_4~5838_3

Und hier alle für Leseintensive Workloads:
https://geizhals.de/?cat=hdssd&v=e&hloc=at&hloc=de&sort=p&bl1_id=30&xf=4643_Power-Loss+Protection~4832_3~4832_4~5838_1

Kommen wir noch mal zu Consumer-Grade. Wenn ich das richtig sehe, kann ich bei der Installation (via bspw. USB Stick) dann die M.2 Platte auswählen (bisher habe ich es noch nicht vor mir gehabt). Das PVE würde dann direkte Partitionen (bspw. /boot, / und swap?) anlegen, oder Logical Volumes?

Wenn du LVM bei der Installation wählst macht dir der Installer eine Partition auf der per LVM dann die System LV und Swap LV drauf sind. Und dann noch ein LVM-Thin Pool als VM Storage. Und eine Grub-Partition bzw ESP.

Kann ich das bei der Installation beeinflussen (somit bspw. PVE 64 GB für ISO's etc. zuweisen)? Kann ich die Systemumgebung (/boot + /) von PVE dann auch einzeln wegsichern bzw. wiederherstellen?

Sichern wird schwierig. Guck am besten mal das Kapitel "Advanced LVM Configuration Options" im wiki: https://pve.proxmox.com/wiki/Installation
Da kannst du dann bestimmt wie groß dein Root-Dateisystem sein soll.

2. Backup von korrupten Daten - Integritätsprüfungen oder auch manuelle Prüfungen (die ich dann ohnehin nicht mache) wären wichtig.

PBS kann Integritätsprüfungen der Backups machen. Hast du aber immer noch das Problem ohne ZFS/btrfs/CEPH + ECC, dass du nie weißt, ob die Dateien überhaupt heil auf der Platte oder im RAM liegen. Da kann man noch so viele Integritätsprüfungen des Backups machen. Wenn die Daten schon unbemerkt korrumpiert im RAM oder auf der SSD liegen, dann wird dir die Integritätsprüfung vom Backup sagen alles wäre ok, auch wenn es das nicht ist, weil die Integritätsprüfung des Backups ja nur vergleicht ob die Daten im Backup noch identisch zu den unsprünglichen Daten von der SSD sind.

 

[dmq]

@Dunuin - wieder vielen Dank. Das sind wirklich außergewöhnlich gute Hilfestellungen.

Mein Plan ist jetzt Enterprise Grade zu planen bzw. umzusetzen. Ich konnte mich anfangs nicht ganz mit dem Gedanken anfreunden, System (PVE) und Daten (LVs) auf einer Platte zu haben (hätte am liebsten eine physische Trennung), aber mit dem NUC habe ich jetzt auch nicht so viel Spielraum. Bei einem softwareseitigen RAID1 über ZFS wäre es ja (bei Enterprise Grade) dann auch schon sehr exotisch, wenn beide Platten ausfallen (Schutz vor Überspannung etc. muss dann natürlich eingeplant sein). Zudem würde ich die wichtigsten Daten dann nach extern sichern.

ECC Speicher habe ich jetzt erst mal ausgeklammert.

Ich denke es (Enterprise SSDs) ist wahrscheinlich eine gute Investition.

 

[Dunuin]

Wenigstens bei ZFS sollte man schon zu enterprise SSDs greifen, da ZFS wegen all den doppelten und dreifachen Integritätschecks massiv Overhead verursacht. Was man ganz leicht als Anfänger unterschätzt ist z.B. die Write Amplification. Mein Homeserver hat z.B. im Schnitt eine Write Amplification von Faktor 20 von Dateisystem im Gast zum NAND auf den SSDs. Die SSD hat also nur 1/20tel der Performance und geht 20x schneller kaputt. Wenn ich also 1 TB in der VM schreibe, dann weden 20 TB auf die NAND Chips der SSD geschrieben. So eine 500GB TLC Consumer SSD (wie z.B. die Samsung Evo) ist dann üblicherweise z.B. für eine Haltbarkeit von 300 TB TBW bzw 0,3 DWPD spezifiziert. Hättest du wie ich eine durchschnittliche Write Amplification von Faktor 20 würde das heiẞen, dass du die 300TB TBW schon überschreiten würdest, nachdem du nur 15TB in der VM geschrieben hättest. Heiẞt nicht, dass da dann die SSD auch direkt kaputt geht, sobald die TBW überschritten ist, aber deine Garantie ist dann jedenfalls verfallen, selbst wenn du sonst noch Jahre Garantie hättest. Enterprise SSDs dürfen da überlicherweise das 3-, 10- oder 30-fache schreiben, je nachdem ob die SSD für leseintensive, mixed oder schreibintensive Workloads ausgelegt ist.
Und wie stark sich die SSD abnutzt hängt auch sehr stark vom Storage-Setup ab und von den Workloads deiner Gäste. Ich habe hier knappe 200 Benchmarks laufen lassen und da reichte die Write Amplification von Faktor 3 bei groẞen sequentiellen async Writes bis hin zu Faktor 82 bei 4k random sync Writes.
Ob so eine Consumer SSD nur wenige Monate oder viele Jahre mit ZFS hält hängt also stark von den Workloads ab. Gerade Datenbanken mit den vielen kleinen random sync Writes killen SSDs in Null-Komma-Nichts.
Ich hatte mir z.B. auch erst zwei 500 GB Samsung Evo M.2 SSDs geholt, habe die dann aber wieder entfernt und durch Enterprise SSDs ersetzt, weil die TBW der SSDs in meinem Homeserver in unter einem Jahr überschritten gewesen wären. Für das gleiche Geld gab es dann gebrauchte Enterprise SSD die über das 30-fache aushalten und dann 10400 TB statt 300 TB Schreibvorgänge vertragen.

Wegen ECC RAM müsstest du mal gucken, aber würde mich wundern, wenn die NUCs ECC unterstützen würden. Im Gegensatz zu AMD findest du bei Intel im Consumer Segment fast kein ECC-Support.

Ist nicht so unüblich, dass da auch bei ZFS beide SSDs gleichzeitig nach einem Stromausfall ausfallen, aber wenn hier Leute davon berichten, dann waren meines Wissens auch immer Consumer SSDs verbaut die eben keine Powerloss Protection haben. Backups sollte man trotz Raid1 trotzdem immer haben.

 

[dmq]

Ja, ich denke die TBWs machen dann bei mir irgendwann den Unterschied. Mein Workload ist allerdings nicht besonders datenintensiv - eher viele, kleine Workloads (mqtt etc.) - vieles findet auch im RAM statt. Aber es "darf" halt nichts kaputt gehen - ich habe mittlerweile so viele Komponenten im meinem Netzwerk (teilweise für mich auch sehr wichtige), wo es immer sehr zeit- und nervenraubend ist, wenn die Integrität verloren geht. Dann lieber jetzt erstmal wieder investieren.

Ist nicht so unüblich, dass da auch bei ZFS beide SSDs gleichzeitig nach einem Stromausfall ausfallen, aber wenn hier Leute davon berichten, dann waren meines Wissens auch immer Consumer SSDs verbaut die eben keine Powerloss Protection haben. Backups sollte man trotz Raid1 trotzdem immer haben.

Ich habe L1 Phase meines Hauses im Notstrom (USV, Umschaltung im Millisekunden bereich) - dies für "normale" Netzunterbrechungen. Zudem hängt das Zentralsystem an einer weiteren USV (falls der FI schaltet und somit auch der Batteriewechselrichter ausgeschaltet wird).

Jetzt muss ich nur noch passende SSDs finden und dann kann ich mit der Software anfangen - ich werde erst einmal Versuche machen, bevor ich dann anfange zu migrieren