Meinungen oder Verbesserungsvorschlägen zu meinem Homelab

[Paddy313]

Hallo,

ich wollte mal nach ein paar Meinungen oder Verbesserungsvorschlägen zu meinem Homelab fragen.
Proxmox VE Host 1: Fujitsu mini PC (G4400, 16GB RAM, 1TB SSD) - opnSense + reverseProxy
Proxmox VE Host 2: Dell Mini PC (i5 8500t, 16GB RAM, 32GB Optane fürs System + 1TB SSD für Disks) - da läuft so ziemlich alles andere drauf, Dockerhost, Nextcloud, Home Assistant etc.
Backups von Host 1 werden auf Host 2 und umgekehrt gespeichert, zusätzlich gehen die verschlüsselt in eine Hetzner Storagebox.
Die Server laufen eigenständig, also ohne Cluster. Das habe ich damals deaktiviert, um die SSDs zu schonen.

Bin am überlegen, opnSense direkt auf Host 1 zu installieren, damit ich Offloading nutzen kann und dazu noch nen Mini PC mit ähnlichen Specs wie Host 2 hole und dann im Cluster betreibe (ist das mit Optane SSDs zu empfehlen oder welche könnte man nehmen? 32GB reichen da völlig aus).
Was meint ihr dazu? Was fehlt, was sollte man ändern?
MfG

 

[UdoB]

...also ohne Cluster. Das habe ich damals deaktiviert, um die SSDs zu schonen.

Die reine Existenz eines Clusters stresst die SSDs nicht.

Was fehlt, was sollte man ändern?

Auf so eine Frage gibt es keine gute Antwort - sie ist zu unspezifisch. Und jeder, wirklich jeder, hat andere Ansprüche/Erwartungen und zur Verfügung stehendes Geld und Zeit.

Für meinen persönlichen Geschmack hast du

• ...viel zu wenig Ram - meine MiniPCs haben momentan 64 GiB Ram und ich warte Hände ringend auf eine (mir) passende neue Gerätegeneration, die "wenigstens" 128 GiB verträgt
• ...leider keinen Cluster. Du hast eine OpnSense am Start. Was machst du, wenn der Host ein (Kernel-) Update braucht? Mit Cluster kannst du die VM einfach "live" auf einen anderen Node verschieben. Die Nutzer im Heimnetz bekommen es dann gar nicht mit, dass der Host (und danach dann der andere) rebootet wurde. Aber ja, ein Cluster verkompliziert das ganze erheblich - Stichwort: Quorum
• ...zu wenig Redundanzen im Grundsystem: einzelne SSDs sorgen für den Verlust des kompletten Datenbestandes des jeweiligen Rechners, wenn (nicht: "falls") sie sterben; sofern dir deine über-Kreuz-Backups genügen, ist das natürlich ok - für mich wäre das nichts
• ...offenbar kein ZFS - ZFS hat mehr Vorteile als ich hier zum x-ten Mal aufzählen möchte
• ...das mit dem Offsite-/Hetzner-Backup richtig gemacht - teste mal den Rückwärtsgang, denn darauf kommt es im Problemfall ja an

Wie schon gesagt, die eigenen Erwartungen und die Bereitschaft, Aufwand (finanziell + Zeit) zu treiben, bestimmen deine optimale Konfiguration.

Viel Spaß dabei

 

[Dunuin]

...leider keinen Cluster. Du hast eine OpnSense am Start. Was machst du, wenn der Host ein (Kernel-) Update braucht? Mit Cluster kannst du die VM einfach "live" auf einen anderen Node verschieben. Die Nutzer im Heimnetz bekommen es dann gar nicht mit, dass der Host (und danach dann der andere) rebootet wurde. Aber ja, ein Cluster verkompliziert das ganze erheblich - Stichwort: Quorum

OPNsense kann man auch wunderbar ohne PVE Cluster im Failover betreiben. Das ist dann sogar noch besser als PVE HA, da beide immer aktiv laufen und alle States synchron halten und wenn eine ausfällt nach einer Sekunde die andere da weitermacht, wo die andere aufgehört hat, ohne dass die da laufende Downloads oder Multiplayer-Sessions aussteigen.
Brauchst du halt nur 2 OPNsense Boxen (oder VMs auf zwei stand-alone PVE Nodes) für.

...viel zu wenig Ram - meine MiniPCs haben momentan 64 GiB Ram und ich warte Hände ringend auf eine (mir) passende neue Gerätegeneration, die "wenigstens" 128 GiB verträgt

Ja...leider. Gerade wenn man Wert auf Sicherheit/Stabilität legt und für jeden einzelnen Dockerstack dann eine eigene VM mit X GB RAM anwerfen muss. Unter 64GB ECC RAM würde ich mkr auch keine PVE Nodes mehr fürs Homelab anschaffen.

...zu wenig Redundanzen im Grundsystem: einzelne SSDs sorgen für den Verlust des kompletten Datenbestandes des jeweiligen Rechners, wenn (nicht: "falls") sie sterben; sofern dir deine über-Kreuz-Backups genügen, ist das natürlich ok - für mich wäre das nichts

Und selbst mit Über-Kreuz-Backups (nutze ich auch so mit zwei PBS VMs auf unterschiedlichen PVE Nodes mit Sync Jobs für zwei Kopien) verliert man alles an Daten seit dem letzten Backup. Meistens nicht so wild, aber wäre schon doof, wenn man z.B. seinen Passwort-Manager zentralisiert speichert, nur täglich sichert und dann vielleicht mal das Passwort für die Festplattenverschlüsselung ändert, dann die letzten 23 Stunden seit dem letzten täglichen Backup weg sind und damit dann auch das Passwort und man damit dann TBs an Daten "verloren" hat.
Und es ist auch einfach ein scheiß Aufwand ein PVE neu zu installieren, sofern man es ordentlich abgesichert, optimiert und überwacht hat. Client für UPS, Client fürs externe Monitoring, Log Collector für den zentralen Logserver, Snippets, fail2ban oder gar Dinge wie Wazuh Agent für SIEM, Postfix, eigene Systemd Services und Timer, Vollsystem-Verschlüsselung, Host Backups, ... Das ist ein ganzer Tag arbeit für mich da einen PVE Node neu aufzusetzen. Das erspare ich mir lieber, indem ich mir halt für 20 oder 30€ eine zweite SSD für einen Mirror besorge.
Und ja, da könnte ich dutzende Stunden in das Erstellen von irgendwelchen Playbooks investieren, dass ich eine Neuinstallation schnell erneut ausrollen könnte. Aber wenn ich den Node dann mal neu aufsetzen muss ist vielleicht schon wieder PVE9 draußen und ich muss mich dann wieder rumquälen da alles an Automatisierung zu aktualisieren...das lohnt für Homelab mit wenigen Nodes meiner Meinung nach einfach nicht.
Außer man ist masochistisch veranlagt oder macht es zum Zwecke des Lernens.


Wo ich persönlich gerade bei bin ist das Umstellen meines Homelabs auf mehr VLANs (getrennte DMZs für öffentliche und private Services, eigene Management VLANs für jede DMZ, ...), Wechsel ins 10.0.0.0/8 Netz, Update aller VMs und LXCs von Debian 11 auf 12 und öffentliche + private Reverse Proxies mit eigenen Domain Names und Wildcard-Zertifikaten. Da bin ich jetzt auch schon paar Monate bei...

 

[UdoB]

OPNsense kann man auch wunderbar ohne PVE Cluster im Failover betreiben.

Ja, CARP funktioniert erstaunlich gut, das war hier vielleicht ein eher unpassendes Beispiel.

Unter 64GB ECC RAM...

Ja, das Thema hatten wir ja schon öfter. Viel Ram und ECC und billig und wenig Stromverbrauch und viele Schnittstellen und 10GBit/s und ... existiert aber leider immer noch nicht. Choose your poison...

... ordentlich abgesichert, optimiert und überwacht hat. Client für UPS, Client fürs externe Monitoring, Log Collector für den zentralen Logserver, Snippets, fail2ban oder gar Dinge wie Wazuh Agent für SIEM, Postfix, eigene Systemd Services und Timer, Vollsystem-Verschlüsselung, Host Backups,

Ich wollte @Paddy313 hier nicht so überfordern, du und ich (und viele andere hier) spielen einfach auch im Homelab in einer etwas "abgehobeneren" Liga ;-)

Für Paddy gilt: den eigenen Sweetspot muss man sich selber erabeiten, da kann einem keiner "die Lösung" vorgeben.

 

[Paddy313]

Vielen Dank schon mal für eure Antworten!

@UdoB es wird oft geschrieben, dass die dazugehörigen Dieste (corosync pve-ha-crm pve-ha-lrm) recht viel Schreiben verursachen. Ob das wirklich so schlimm ist weiß ich natürlich nicht.

• ...viel zu wenig Ram - meine MiniPCs haben momentan 64 GiB Ram und ich warte Hände ringend auf eine (mir) passende neue Gerätegeneration, die "wenigstens" 128 GiB verträgt

der reicht aktuell und ich könnte problemlos noch nachrüsten

• ...leider keinen Cluster. Du hast eine OpnSense am Start. Was machst du, wenn der Host ein (Kernel-) Update braucht? Mit Cluster kannst du die VM einfach "live" auf einen anderen Node verschieben. Die Nutzer im Heimnetz bekommen es dann gar nicht mit, dass der Host (und danach dann der andere) rebootet wurde. Aber ja, ein Cluster verkompliziert das ganze erheblich - Stichwort: Quorum

ja, Cluster werde ich mir nochmal überlegen. Mal den Host mit der opnSense neu starten ist kein Problem, das mache ich einfach mal abends und wenn es Probleme gibt könnte ich die VM aus dem Backup auf den anderen Host restoren - nicht optimal, aber für mich okay. Gerade wegen längerer Downtime der Firewall aber sicherlich auch ein Thema (hab für den schlimmsten Notfall einen konfigurierten Router, den ich anschließen kann)

• ...zu wenig Redundanzen im Grundsystem: einzelne SSDs sorgen für den Verlust des kompletten Datenbestandes des jeweiligen Rechners, wenn (nicht: "falls") sie sterben; sofern dir deine über-Kreuz-Backups genügen, ist das natürlich ok - für mich wäre das nichts

- da sehe ich auch Bedarf, ich komme eigentlich immer an irgendwelche Backups, aber redundant ist das ganze nicht. Stichwort NAS? Dazu komme ich gleich nochmal

• ...offenbar kein ZFS - ZFS hat mehr Vorteile als ich hier zum x-ten Mal aufzählen möchte

ja, hat mich irgendwie immer abgeschreckt, sollte ich nochmal überdenken

• ...das mit dem Offsite-/Hetzner-Backup richtig gemacht - teste mal den Rückwärtsgang, denn darauf kommt es im Problemfall ja an

- das teste ich von Zeit zu Zeit mal

Ich hab halt angefangen, als die finanziellen Mittel nicht unbedingt da waren oder ich es nicht eingesehen habe, viel mehr auszugeben. Wenn man erstmal so was laufen hat und mehr und mehr dazu kommt wird das ganze natürlich auch immer wichtiger. Ich versuche zusätzlich auch noch den Stromverbrauch so gering wie möglich zu halten.


@Dunuin danke für den Tipp mit opnSense, schaue ich mir mal an. Evtl kann ich ja auch eine opnSense auf Blech betreiben und eine andere auf nem Host.

Zurück zum NAS - ich sehe ein, dass ich Redundanzen beim Speicher brauche. Hatte schon mal geschaut, würde ein PC mit nem i3 6100, 16GB RAM und 3x 1TB Samsung 883 SSDs im RAIDz1 Sinn machen? In die Hosts bekomme ich jeweils nur eine 2.5" SSD und eine NVMe, macht da ZFS Sinn?

 

[Dunuin]

Evtl kann ich ja auch eine opnSense auf Blech betreiben und eine andere auf nem Host.

Problem dabei ist, dass da alle Intefaces den gleichen Namen haben müssen. Das wird mit z.B. einer physischen ens3 und einer virtuellen enp8 schwer. Daher am besten 2x identische Hardware für Bare Metal oder halt 2x VMs mit identischer Konfig.
Das hier fand ich ganz hilfreich: https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten

Zurück zum NAS - ich sehe ein, dass ich Redundanzen beim Speicher brauche. Hatte schon mal geschaut, würde ein PC mit nem i3 6100, 16GB RAM und 3x 1TB Samsung 883 SSDs im RAIDz1 Sinn machen?

Für NAS ja.

In die Hosts bekomme ich jeweils nur eine 2.5" SSD und eine NVMe, macht da ZFS Sinn?

Also ich persönlich würde da dann zwei gleich große Enterprise SSDs reinsetzten und im ZFS Mirror betreiben für alles, auch wenn es dann heißt, dass da die NVMe SSD auf das Niveau der SATA SSD gedrosselt wird. Da wäre mir die Redundanz wichtiger als die Performance. Und beim nächsten mal würde ich dann gleiche eine Platform wählen, die wenigstens 2x NVMe oder 2x SATA hat. Gibt ja auch richtig nette MiniPCs wie den MS-01, wo mir leider nur der ECC Support fehlt (ok...und der Preis von ca 1000€ etwas abschreckt, dafür dass man da nichts austauschen kann, wenn mal etwas kaputt geht...geschweige von späterem Aufrüsten).

 

[Paddy313]

Problem dabei ist, dass da alle Intefaces den gleichen Namen haben müssen. Das wird mit z.B. einer physischen ens3 und einer virtuellen enp8 schwer. Daher am besten 2x identische Hardware für Bare Metal oder halt 2x VMs mit identischer Konfig.
Das hier fand ich ganz hilfreich: https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten

Gut, das macht irgendwo Sinn. Wäre etwas fummelig, aber könnte man das Interface nicht auch umbenennen? Vielleicht probiere ich es einfach mal

Also ich persönlich würde da dann zwei gleich große Enterprise SSDs reinsetzten und im ZFS Mirror betreiben für alles, auch wenn es dann heißt, dass da die NVMe SSD auf das Niveau der SATA SSD gedrosselt wird. Da wäre mir die Redundanz wichtiger als die Performance. Und beim nächsten mal würde ich dann gleiche eine Platform wählen, die wenigstens 2x NVMe oder 2x SATA hat.

Was würde dann noch direkt auf den SSDs in den den Hosts liegen, nur PVE und die VM Disks auf der dem NAS? Dann bräuchte ich ja auch nicht jeweils nen TB oder so..

 

[Dunuin]

Naja, virtuelle Disks wollen niedrige Latenzen und da ist der Netzwerk-Overhead nicht gerade förderlich. Virtuelle Disks würde ich bevorzugt schon lokal speichern wollen. Außer du brauchst einen billigen Shared Storage für einen Cluster. Aber da fängst du wieder einen weiteren Single-Point-of-Failure ein und dann besser auch mit ISCSI anstatt NFS oder SMB und ich meine TrueNAS mit iSCSI war schon Empfehlung rein dem NAS wenigstens 32 oder gar 64GB RAM zu verpassen. Und dann will man auch eigentlich mehr als 1 Gbit oder 2.5 Gbit NICs.
Bei mir dient das NAS nur als Cold Storage, also für Medien, Dokumente, Backups usw aufdie ich selten zugreife, wo die Geschwindigkeit nicht entscheidend ist und die ich dann per NFS oder SMB direkt in die VMs oder privilegierten LXCs bringe.

 

[Paddy313]

Problem dabei ist, dass da alle Intefaces den gleichen Namen haben müssen. Das wird mit z.B. einer physischen ens3 und einer virtuellen enp8 schwer. Daher am besten 2x identische Hardware für Bare Metal oder halt 2x VMs mit identischer Konfig.
Das hier fand ich ganz hilfreich: https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten

Aus der Anleitung:

WAN: Uplink mit mindestens drei verfügbaren IP Adressen (je eine fixe IP-Adresse für Firewall 1 und Firewall 2, sowie eine zusätzliche virtuelle IP-Adresse für den Firewall Master).

Meine opnSense macht PPPoE, geht das dann überhaupt? Am WAN hab ich halt meine (dynamische) public IP

 

[Dunuin]

Gute Frage. Bei mir hängen die noch hinter eine Fritzbox für das DECT. Fritzbox port-forwardet dann an die dritte virtuelle IP.

 

[Paddy313]

Gute Frage. Bei mir hängen die noch hinter eine Fritzbox für das DECT. Fritzbox port-forwardet dann an die dritte virtuelle IP.

Werde dann mal recherchieren und testen. Zur Not kann ich meine Fritzbox auch wieder als Router nutzen, aktuell ist das Teil wirklich nur Modem, weil ich mit der Fritzbox und ihren Eigenheiten so mittelgute Erfahrungen gemacht habe

 

[Dunuin]

Werde dann mal recherchieren und testen. Zur Not kann ich meine Fritzbox auch wieder als Router nutzen, aktuell ist das Teil wirklich nur Modem, weil ich mit der Fritzbox und ihren Eigenheiten so mittelgute Erfahrungen gemacht habe

Naja, muss man doppelt port-forwarden was mehr Arbeit macht und doppelt NATen, was für den Ping bestimmt nicht so toll ist. Aber wenigstens fängt dann eine Sicherheitslücke in der Fritzbox die OPNsense ab und umgekehrt. Vom Sicherheitsaspekt bestimmt nicht verkehrt, wenn man nicht alles auf das selbe Pferd setzt.
Hatte z.B. mal einen Bug in der OPNsense, wo plötzlich die Reihenfolge der Firewall-Regeln neu sortiert wurde, was natürlich echt übel kommt und dann wahrlos falsche Ports geöffnet oder dicht gemacht hat. Und die Fritzen hatten ja auch schon ein paar üble Sicherheitslücken.

 

[Paddy313]

Naja, muss man doppelt port-forwarden was mehr Arbeit macht und doppelt NATen, was für den Ping bestimmt nicht so toll ist. Aber wenigstens fängt dann eine Sicherheitslücke in der Fritzbox die OPNsense ab und umgekehrt. Vom Sicherheitsaspekt bestimmt nicht verkehrt, wenn man nicht alles auf das selbe Pferd setzt.
Hatte z.B. mal einen Bug in der OPNsense, wo plötzlich die Reihenfolge der Firewall-Regeln neu sortiert wurde, was natürlich echt übel kommt und dann wahrlos falsche Ports geöffnet oder dicht gemacht hat. Und die Fritzen hatten ja auch schon ein paar üble Sicherheitslücken.

der OPNsense Bug klingt schon ziemlich fies, hab ich zum Glück noch nicht gehabt. Ich werde mir das anschauen und dann entscheiden was für mich am meisten Sinn macht.

Intel SSD DC S3610 scheinen gut zu laufen, bekommt man mit 800GB gebraucht für ca. 50€, oder besser aktuelle Hardware neu kaufen?
Welche m2 NVMe SSDs wären für ZFS zu empfehlen?

 

[Dunuin]

der OPNsense Bug klingt schon ziemlich fies, hab ich zum Glück noch nicht gehabt. Ich werde mir das anschauen und dann entscheiden was für mich am meisten Sinn macht.

Intel SSD DC S3610 scheinen gut zu laufen, bekommt man mit 800GB gebraucht für ca. 50€, oder besser aktuelle Hardware neu kaufen?
Welche m2 NVMe SSDs wären für ZFS zu empfehlen?

Da hast du nur eine Hand voll an Optionen wenn dein Mainboard M.2 22110 aufnehmen kann. Wenn nur 2280er gehen bist du bei 2 oder 3 Modellen.

 

[Paddy313]

@Dunuin Leider nur 2280...
Welche SSDs (also 2.5" und M.2) könnte man denn gebraucht gut kaufen? Also immer vorausgesetzt die haben noch nicht so viel runter. Oder ist das gar nicht zu empfehlen?

 

[Dunuin]

M.2 sind auch gebraucht noch ziemlich teuer. Und mal abgesehen von den Optanes nutzen die glaube ich auch alle TLC NAND, werden dann also wohl auch mehr abgenutzt sein, nachdem die wegen Garantieüberschreitung ausgemustert wurden.

Neu wären da eigentlich nur die Micron 7300/7400/7450 Pro/Max wenn Enterprise und M.2 2280.

 

[Paddy313]

@Dunuin Habe jetzt erstmal 2.5" Enterprise SSDs für die Hosts besorgt.
Bzgl. NAS bin ich noch am schauen, es soll jetzt definitiv ein Cold Storage für Backups und ggf. ein paar andere Dinge werden, aber alles nicht so performancekritisch. Hab jetzt auch mit dem Gedanken gespielt, 2-3 6TB HDDs (WD Red?) fürs NAS zu nehmen (SSD für Cache und L2ARC scheint nicht so sinnvoll zu sein, wenn ich das richtig verstanden habe). Ist natürlich auch von Compression etc. abhängig, aber weißt du mit welchen Speeds man da ungefähr rechnen kann?

 

[Dunuin]

WD Red?

"WD Red" sind für Dinge wie ZFS komplett ungeeignet da sie SMR nutzen. Ich würde nie SMR HDDs kaufen. Für CMR HDDs müsste man schon zur "WD Red Plus" oder "WD Red Pro" greifen oder gleich eine Enterprise statt Prosumer HDD.

SSD für Cache und L2ARC scheint nicht so sinnvoll zu sein, wenn ich das richtig verstanden habe

Besser als Special Devices nutzen.

Ist natürlich auch von Compression etc. abhängig, aber weißt du mit welchen Speeds man da ungefähr rechnen kann?

Also mit 4x 8TB 7200RPM SATA im Raidz1 komme ich hier auf grob auf 300MiB/s. Bei 3 HDDs im Raidz1 dann wohl eher um die 200 MiB/s.

 

[Paddy313]

"WD Red" sind für Dinge wie ZFS komplett ungeeignet da sie SMR nutzen. Ich würde nie SMR HDDs kaufen. Für CMR HDDs müsste man schon zur "WD Red Plus" oder "WD Red Pro" greifen oder gleich eine Enterprise statt Prosumer HDD.

Sorry, ja, meinte die WD Red Plus

Besser als Special Devices nutzen.

Gibt es da Richtwerte, wie groß die SSD im Verhältnis zu dem HDD Pool sein sollte? Wahrscheinlich wäre es auch sinnvoll, das special Device zu mirrorn?

Also mit 4x 8TB 7200RPM SATA im Raidz1 komme ich hier auf grob auf 300MiB/s. Bei 3 HDDs im Raidz1 dann wohl eher um die 200 MiB/s.

Okay, danke. Ich denke ich werde dann HDDs nutzen.

 

[Dunuin]

Gibt es da Richtwerte, wie groß die SSD im Verhältnis zu dem HDD Pool sein sollte? Wahrscheinlich wäre es auch sinnvoll, das special Device zu mirrorn?

Ja, ist das Special Device tot sind es auch alle Daten auf den HDDs. Special Devices sind kein Cache. Also Redundanz immer gleich gut haben wie die Datendisks.
Faustformel ca 0,4% der Daten. Bei 3x 6TB im Raidz1 würden es dann auch schon 2x 100/120/128GB SSDs im Mirror tun.

Okay, danke. Ich denke ich werde dann HDDs nutzen.

Aber halt beim Kopieren von Großen Dateien via SMB über 10Gbit NIC. Wenn ich viele kleine Dateien kopiere, dann bricht es auch von 300MiB/s auf unter 1 MiB/s ein. Hast du vieles kleines an Daten helfen nur SSDs, da dann sonst die IOPS Performace der HDDs sofort zum Flaschenhals wird.