PVE-Lab-Setup (Newbie)

[samat23]

Hallo zusammen!

Ich bin neu hier im Forum, habe wenig Erfahrung mit PVE, aber ich starte einfach mal diesen Thread.
Wahrscheinlich gab es das schon viele Male, also verzeiht mir bitte ...

Ich hatte hier einiges an (alter) Hardware rumstehen und habe mir jetzt noch günstig einen zweiten NUC beschafft, um ein kleines Lab zum Üben aufzusetzen.

Was ich schon hatte:
A: Intel NUC7PJYH (16GB, 256GB-SATA-SSD)
B: HP Microserver N36L (8GB, 4 x 2TB HDD)
C: Alter Desktop, Haswell-i5, 16 GB, 3 x 256GB-SATA-SSD)

Dazu der zweite NUC:
D: Intel NUC10i5FNK (32GB, 1TB-NVME-SSD)

Mein Plan ist nun folgender:
Auf A, C und D jeweils eine PVE-Instanz aufsetzen, B wird der PBS (mit ZFS Single Parity). Da alle Geräte nur jeweils einen 1GB-LAN-Port und unterschiedlichte Stroage-Mengen haben, fällt Ceph Cluster wohl weg, aber ich will ja auch klein anfangen ... Ich hätte noch einen Layer3-Switch und einen OpenWRT-Switch/Router, wie auch immer. Bei C würde ich auch ZFS mit Single Parity aufsetzen.

Ich würde erstmal die 3 Instanzen aufsetzen und den PBS, Strorage sollte reichen, wenn ich den PBS mit ZFS und Single Parity aufsetze, oder?

Würde mich freuen, wenn ihr eure Meinung dazu sagt, habe ich da irgentwelche Denkfehler oder ist das alles keine sinnvolle Idee?

Anwendungen werde ich auch noch posten, wenn das oben beschriebene nicht komplett fail ist.

Grüße
samat

 

[Dunuin]

Beim PBS nicht vergessen, dass du da mit Millionen über Millionen von Chunk-Dateien arbeiten wirst auf die nicht sequentiell zugegriffen wird. Mit 4x HDDs ohne zusätzliche SSDs hat man da nicht so den Spaß mit, da die HDDs wegen der Fehlenden IOPS Performance bei Dingen wie einem GC Task einfach dicht machen. Da würde man schon mit einem Striped Mirror arbeiten und am besten noch 2 SSDs hinzustecken als Special Device Mirror.

Zum testen ganz OK. Für den (privaten) Produktiv-Einsatz nicht so toll. Vmtl keine Enterprise SSDs für ZFS, falls du mit Replikation wegen HA spielen willst. Sehr wenig RAM (unter 32GB würde ich nichts mehr anschaffen...). Nur eine einzelne NIC ist auch nicht gerade toll, da man für Corosync für einen Cluster z.B. schon besser eine eigene NIC + Switch haben sollte, dass da eine Migration oder Backup nicht den ganzen Cluster zum Einbrechen bringt, weil die Latenz hoch geht, wenn die Verbindung komplett ausgelastet ist wegen großen Datentransfers.

Ich persönlich würde auch nichts ohne Raid1 betreiben wollen. Gerade wenn die Hardware alt ist, weil es ja nie die Frage ist OB eine SSD/HDD ausfällt, sondern nur WANN. Und wenn es dann der Fall ist, dann will ich mich nicht ewig mit Neuaufsetzen rumschlagen müssen. Dann ggf noch Datenverlust von allem was man den Tag seit dem letzten täglichen Backup gemacht hat etc. Beim Cluster mit Replikation nicht ganz so wild mit dem Datenverlust, da ja alles alle paar Minuten auf andere Nodes gesynct wird. Aber trotzdem noch nervig alles neu einzurichten und ohne Mirror/Paritätsdaten kannst du auch die tolle Bit Rot Protection von ZFS nicht nutzen, dass sich ZFS da selbst heilen könnte.

 

[samat23]

Beim PBS nicht vergessen, dass du da mit Millionen über Millionen von Chunk-Dateien arbeiten wirst auf die nicht sequentiell zugegriffen wird. Mit 4x HDDs ohne zusätzliche SSDs hat man da nicht so den Spaß mit, da die HDDs wegen der Fehlenden IOPS Performance bei Dingen wie einem GC Task einfach dicht machen.

Zum testen ganz OK. Für den (privaten) Produktiv-Einsatz nicht so toll. Vmtl keine Enterprise SSDs für ZFS, falls du mit Replikation wegen HA spielen willst. Sehr wenig RAM (unter 32GB würde ich nichts mehr anschaffen...). Nur eine einzelne NIC ist auch nicht gerade toll, da man für Corosync für einen Cluster z.B. schon besser eine eigene NIC + Switch haben sollte, dass da eine Migration oder Backup nicht den ganzen Cluster zum Einbrechen bringt, weil die Latenz hoch geht, wenn die Verbindung komplett ausgelastet ist wegen großen Datentransfers.

Ok, hatte schon sowas erwartet. Werde dann vermutlich einfach 3 (Single-)Nodes (2 produktiv, 1 testing) aufsetzen, das soll privat schon am Ende auch sinnvoll funktionieren. Bei dem PBS sollte es aber doch funktionieren, wenn man da nur ab und zu (einmal die Woche oder so) mal ein Backup zieht? Oder braucht man da noch zwingend einen SSD-Cache?

 

[Dunuin]

Bei dem PBS sollte es aber doch funktionieren, wenn man da nur ab und zu (einmal die Woche oder so) mal ein Backup zieht? Oder braucht man da noch zwingend einen SSD-Cache?

Naja, ohne ein regelmäßiges GC werden da keine Backups gelöscht und ein GC muss dann halt Millionen von Dateien lesen+schreiben (bzw deren Metadaten, nicht die Daten selbst, weshalb man die Metadaten auf SSDs auslagern sollte). Und SSDs als Special Devices wären da kein Cache. Sind die SSDs weg, wären es auch alle Daten auf den HDDs.
Und Backups, auf die man sich nicht verlassen kann, bringen auch nicht viel. Da sollte man regelmäßig ein Re-Verify machen lassen, was dann heißt, alles an Daten lesen und neu hashen. Muss dann wieder Millionen von Dateien lesen. Zum Teil kann da ein ZFS Scrub helfen, der ist auch schneller, aber der erkennt z.B. keine fehlenden Chunks (sondern nur defekte).
Also da musst du schon mit Rechnen, dass das Ding mal für einen Tag nicht nutzbar ist, weil da die Wartungstasks pausenlos die HDDs auf 100% Auslastung treiben. Dinge wie Live Restore wird auch nichts ohne SSDs und schnelle NICs.

 

[samat23]

Naja, ohne ein regelmäßiges GC werden da keine Backups gelöscht und ein GC muss dann halt Millionen von Dateien lesen+schreiben (bzw deren Metadaten, nicht die Daten selbst, weshalb man die Metadaten auf SSDs auslagern sollte). Und SSDs als Special Devices wären da kein Cache. Sind die SSDs weg, wären es auch alle Daten auf den HDDs.
Und Backups, auf die man sich nicht verlassen kann, bringen auch nicht viel. Da sollte man regelmäßig ein Re-Verify machen lassen, was dann heißt, alles an Daten lesen und neu hashen. Muss dann wieder Millionen von Dateien lesen. Zum Teil kann da ein ZFS Scrub helfen, der ist auch schneller, aber der erkennt z.B. keine fehlenden Chunks (sondern nur defekte).
Also da musst du schon mit Rechnen, dass das Ding mal für 1 oder 2 Tage nicht nutzbar ist, weil da die Wartungstasks 24/7 die HDDs auf 100% Auslastung treiben. Dinge wie Live Restore wird auch nichts ohne SSDs und schnelle NICs.

Hört sich alles sehr kompliziert an. Ich hatte das so verstanden, dass der PBS einfach als zusätzliches Device in der PVE-Umgebung angezeigt wird und dann seinen Job macht (ohne besondere Anforderungen). Aber gut, ich werde mal testen, im Zweifel greife ich auf meine Robocopy-Skripte zurück, die sichern mir halt meine Daten und das funktioniert. Das würde bedeuten, dass der PBS in meinem Setup nicht funktioniert bzw. unnütz ist ...

 

[Dunuin]

Ordentliche Backups sind nicht unkompliziert. Da ist das mit einem Borg, Bacula oder Veeam nicht viel anders. Die haben nur nicht so krasse Anforderungen was den Storage angeht, da die alle zu einer Zeit konzipiert wurden, wo eben noch HDDs das primäre Speichermedium im Alltag waren.
PBS läuft zwar auf HDDs, würde aber für lokalen SSD-Storage entwickelt damit es für die Zukunft gewappnet ist und da SSDs halt easy mal Faktor 1000 mehr IOPS schaffen, steht man da mit HDDs schnell mal auf dem Schlauch.