CPU Empfehlung - 3 Node Cluster

[GJ_]

Hallo zusammen,

aktuell plane ich den Aufbau eines Cluster mit 3 Nodes und Ceph als Storage mit 10G Anbindung.

Darauf laufen soll verschiedenes:
- div. Windows VMs (DC, FS, IIS etc.)
- Linux VMs (Tailscale Router, mehrere Docker VMs, Plex, Loxberry etc. )
- LXC (Cloudflare DDNS, paperless etc.)
- Firewall (opnsense)
- Zukünftig: KI-Spielwiese

Nur bei der Auswahl der Hardware bin ich noch etwas unsicher.

Für das Ceph würde ich pro Node 4x Samsung PM883 mit 1920GB nehmen, da ich an diese günstig komme.
Oder spricht etwas gegen die SSDs?

Bei der CPU schwanke ich noch komplett zwischen AMD und Intel.
Einen i5-12500 habe ich noch im Schrank, aber ist dieser auch geeignet?
Alternativ ein Ryzen?

Priorität liegt bei dem Aufbau auf einem guten Verbrauch/Leistung-Verhältnis.
Der Build soll zuhause laufen und somit so wenig wie möglich (aber so viel wie nötig) verbrauchen.

Viele Grüße
GJ_

 

[mr44er]

Oder spricht etwas gegen die SSDs?

Schaue vorher ob du firmware bekommen könntest (ob du sie brauchst, steht auf nem anderen Blatt!), für manche Modelle gab es die nur unterm Wartungsvertrag. Wenn du sie brauchst, willst du das nicht erst danach feststellen. Generell spricht aber nichts dagegen.

Bei der CPU schwanke ich noch komplett zwischen AMD und Intel.

Wieso? Für den Einsatzzweck egal, aber bei AMD gibts tendenziell mehr Wumms fürs Geld und vom Hörensagen weniger Ausfälle (ja, nur bestimmte Modelle!). Sei nicht biased, gucke auf Preis/Leistung. Es ist kein Zwang, aber Nodes in einem Cluster sollten möglichst die gleichen CPU-Hersteller aufweisen (oder noch besser: die exakt identische Hardware und Konfiguration). Wenn wir von einer Neuanschaffung reden, dann tust du dir mit einer Mischung keinen Gefallen. Ich hab auch erst mit drei Nodes angefangen, weil "reicht ja". Mittlerweile bin ich bei vier, weil es einfach viel entspannter zu warten ist, wenn mal eine Node offline geht. Gerade wenn du opnsense als VM betreiben willst, steht und fällt auch deine Internetverbindung und ist von einem healthy Clusterzustand abhängig.

Einen i5-12500 habe ich noch im Schrank, aber ist dieser auch geeignet?

Ungeeignet nicht, aber weg von ideal. Gut, im homelab muss es nicht höchstperformant flutschen, aber kalkuliere mit den Kernen nicht so sehr auf Kante. Proxmox selbst sollte einen Kern bekommen, Ceph je OSD einen und dann pro laufender VM einer, mindestens. Bist du drunter, frustiert das langfristig.

Priorität liegt bei dem Aufbau auf einem guten Verbrauch/Leistung-Verhältnis.

Aus der Betrachtung kannst du die CPU rauslassen, idle fällt eine moderne CPU nicht mehr ins Gewicht und wenn es die dickste ihrer Klasse ist. Drehplatten, ein ineffizientes Netzteil oder 10G-NICs die ASPM nicht können verunmöglichen dann eher einen guten Verbrauch. Auf der anderen Seite sei erwähnt, dass beim Einsatz von Ceph nie 100% idle herrscht, eine leichte Grundlast (Traffic von zu den OSDs und die scrubs) gibt es immer. Wenn wir von normalen Consumerboards reden, wo bei allem ASPM läuft, rechne mit 45W pro Node. Das sehen manche schon als "viel" an, das verzerrt aber die Realität. Das einzige was "viel" ist, sind DE-Strompreise.
Deutlich drunter kommst du nur mit Mini-PCs, damit holt man sich aber gewaltige Abstriche rein. Schlecht ausbaufähig, es passt keine größere Karte rein, oft sind Dinge fest verlötet und wenn man eine 10G-NIC steckt, war das der einzige freie Slot. Da mag es Ausnahmen geben, aber früher oder später rennt man mit irgendwas ins Limit und sei es, wenn man nur 64G RAM draufstecken kann.

 

[GJ_]

@mr44er Vielen Dank für deine ausführliche Antwort.

Mit ca. 40W pro Node habe ich schon gerechnet.

Ungeeignet nicht, aber weg von ideal.

Was würde du aktuell als CPU empfehlen?

Was hast du in deinen Nodes als 10G Card installiert und kannst du diese auch weiterempfehlen?

 

[mr44er]

Was würde du aktuell als CPU empfehlen?

Einen Zen4 Ryzen auf AM5 und entweder aus der Reihe 7000 oder 8000 https://de.wikipedia.org/wiki/Liste_der_AMD-Ryzen-Prozessoren . Die mit -X3D kannst du ignorieren, sind teurer und bringen eher nur für Gamer was. Wenn du planst, vier RAM-Module zu stecken, dann greife zum 7950X (der ist, weil schon ein Nachfolger seit Jahresanfang da ist, gebraucht sehr günstig zu bekommen). Da ist im memcontroller mehr Toleranz. Ich selbst habe einen 7950X und einen 8600G, in beiden das gleiche 4er-Kit gesteckt. Beim 7950X läuft das Kit wenigstens @5200, beim 8600G ist nichts zu wollen...limitiert auf @3600. Falls du nur zwei Module stecken wirst, funktioniert das DOCP-Profil (bei Intel heißt das XMP) auf höchster Stufe immer. Du könntest auch sagen, dass du bei Nodes keinerlei Übertaktung haben willst und einfach fest auf @3600 fahren, das wäre auch sichtbar auf nem Wattmeter. Von der vier Modul-Perspektive könnte Intel besser funktionieren, obwohl sie das gleiche technische Problem haben, aber da fehlt mir die Erfahrung. Vielleicht kann jemand der aktuelle Intels betreibt dazu was sagen.
Falls dir bis hierher der Anschaffungspreis die Luft abschnürt: Zen3/AM4 und ein 5950X wären sicher auch noch ok. Die Boards kosten ungefähr gleich, der Kostentreiber ist der RAM DDR4 vs DDR5.
Generell will man beim Hypervisor das Maximum an RAM-Kapazität, weil das das erste ist, wo man ins Limit rennt. Danach die Kernzahl. Aber ich kenne deinen workflow nicht und was/wieviel genau parallel dann laufen wird.

Was hast du in deinen Nodes als 10G Card installiert

https://www.ebay.de/itm/145248456929 <- Die funktionieren nach einem firmware-upgrade (8.6.2) einwandfrei. Da dieses Modell aber auch schon ewig alt ist, würde ich nicht unbedingt eine Empfehlung aussprechen. Eine Chelsio habe ich auch im Einsatz, ebenfalls einwandfrei. Prio bei Neukauf in dieser Reihenfolge: https://www.servethehome.com/buyers...liances/top-picks-pfsense-network-cards-nics/
Und Switche (habe beide https://www.servethehome.com/wp-content/uploads/2019/10/MikroTik-CRS305-Atop-CRS309-Front-View.jpg ): https://www.servethehome.com/the-ul...ers-guide-netgear-ubiquiti-qnap-mikrotik-qct/

 

[GJ_]

Ich selbst habe einen 7950X und einen 8600G, in beiden das gleiche 4er-Kit gesteckt. Beim 7950X läuft das Kit wenigstens @5200, beim 8600G ist nichts zu wollen...limitiert auf @3600. Falls du nur zwei Module stecken wirst, funktioniert das DOCP-Profil (bei Intel heißt das XMP) auf höchster Stufe immer. Du könntest auch sagen, dass du bei Nodes keinerlei Übertaktung haben willst und einfach fest auf @3600 fahren, das wäre auch sichtbar auf nem Wattmeter. Von der vier Modul-Perspektive könnte Intel besser funktionieren, obwohl sie das gleiche technische Problem haben, aber da fehlt mir die Erfahrung. Vielleicht kann jemand der aktuelle Intels betreibt dazu was sagen.

Ich tendiere zum 8600G.
Habe mir aber auch schonmal den 9700X angeschaut.
Der ist schon Zen5 und hat die gleiche TDP wie der 8600G.
Gibt es ansonsten, außer den höheren Takt, gute Gründe für den 7950X?

Du könntest auch sagen, dass du bei Nodes keinerlei Übertaktung haben willst und einfach fest auf @3600 fahren, das wäre auch sichtbar auf nem Wattmeter.

Ob zwei oder 4 RAM-Module ist mir erstmal egal.
Meinst du dabei, dass die bei 3600 deutlich sparsamer laufen?

 

[mr44er]

Gibt es ansonsten, außer den höheren Takt, gute Gründe für den 7950X?

Die Anzahl der Kerne und dass der memcontroller besser nach oben streut. Den 8600G hatte ich nur als "schlechtes" Beispiel erwähnt, der rangiert klassentechnisch wie dein i5-12500 als 6-Kerner. Der 8700G wäre da besser mit den 8 Kernen und 16 Threads, wobei ich strikt Kerne gedanklich auf VMs verteile und nicht die Threads, damit es einfach nicht auf Kante genäht ist. Wie das mit dem memcontroller beim 8700G ist, weiß ich allerdings nicht.

Meinst du dabei, dass die bei 3600 deutlich sparsamer laufen?

Genau.

Der ist schon Zen5 und hat die gleiche TDP wie der 8600G.

TDP heißt bei AMD, was das Kühlsystem unter Maximalbelastung wegkühlen können muss. Das sagt nichts über den Stromverbrauch aus, erst recht nicht idle.

 

[GJ_]

Die Anzahl der Kerne und dass der memcontroller besser nach oben streut. Den 8600G hatte ich nur als "schlechtes" Beispiel erwähnt, der rangiert klassentechnisch wie dein i5-12500 als 6-Kerner. Der 8700G wäre da besser mit den 8 Kernen und 16 Threads, wobei ich strikt Kerne gedanklich auf VMs verteile und nicht die Threads, damit es einfach nicht auf Kante genäht ist. Wie das mit dem memcontroller beim 8700G ist, weiß ich allerdings nicht.


Genau.


TDP heißt bei AMD, was das Kühlsystem unter Maximalbelastung wegkühlen können muss. Das sagt nichts über den Stromverbrauch aus, erst recht nicht idle.

Was hältst du ansonsten vom 9700X?

 

[mr44er]

Was hältst du ansonsten vom 9700X?

Wenn du mit den Kernen hinkommst wäre auch der gut, klar.
Aber ich will nochmal erinnern: 1 Kern für Proxmox, 4 Kerne für die OSDs "pro Node 4x Samsung PM883", bleiben dir 3 Kerne für VMs übrig. Klingt für mich ein bissl wenig.

 

[GJ_]

Wenn du mit den Kernen hinkommst wäre auch der gut, klar.
Aber ich will nochmal erinnern: 1 Kern für Proxmox, 4 Kerne für die OSDs "pro Node 4x Samsung PM883", bleiben dir 3 Kerne für VMs übrig. Klingt für mich ein bissl wenig.

Weißt du aus dem Kopf ungefähr, was dein Build mit dem 7950X ca im Schnitt (ohne besondere Last) verbraucht?

 

[mr44er]

https://www.bsdforen.de/threads/memtest86-ein-fehler-muss-man-sich-gedanken-machen.37025/post-338843