Funktioniert Proxmox (Enterprise Repository) mit neuen CPUs wie z.B. AMD EPYC 9475F und weitere Fragen...

[GhostTyper]

Erstmal Sorry, falls ich im falschen Forum schreibe. Ich bin neu hier und habe kein besseres Unterforum dafür gefunden.

Wir wollen einen neuen Cluster aufsetzen und aufgrund der neuen Preisstruktur brauchen wir eine Alternative zu VMWare. Daher habe ich ein paar Fragen, die ich gerne vor dem Kauf beantwortet hätte:

• Ich würde nach aktuellem Plan AMD EPYC 9475F CPUs kaufen (2 CPU-Maschinen). Da diese CPUs sehr neu sind die Frage: Wird diese CPU bereits von der Proxmox Enterprise Repository unterstützt? Wenn nein, wann ist es so weit?
• Wir haben entweder vor eine SAN zu verwenden: Wie aufwändig ist es NVMe/TCP aufzusetzen?
• Oder Ceph.
  • Wir würden hier entsprechend dem Proxmox VE Ceph Benchmark 2x 100 Gbit/s Netzwerk für Disk I/O und nochmals 2x 100 Gbit/s für VM Traffic verwenden. Bessere Vorschläge? Noch ist die Hardware nicht bestellt.
  • Um wieviel ist Erasure Coding langsamer als z.B. 3-fach Replikation im Vergleich? Hat das jemand in IOPS gemessen, oder in CPU-Auslastung?
• Ich würde für VE Standard-Lizenzen und für Backup Server eine Basic-Lizenz kaufen. Treffe ich eine falsche Entscheidung?
• Das ganze Setup soll redundant sein, also auch 2 Switches. Bei VMWare würde man kein LACP verwenden, wie ist das bei Proxmox und
• ist es möglich für verschiedene Dienste verschiedene Netzwerkkarten auszuwählen?

Danke für eure Antworten.

 

[itNGO]

Erstmal Sorry, falls ich im falschen Forum schreibe. Ich bin neu hier und habe kein besseres Unterforum dafür gefunden.

Wir wollen einen neuen Cluster aufsetzen und aufgrund der neuen Preisstruktur brauchen wir eine Alternative zu VMWare. Daher habe ich ein paar Fragen, die ich gerne vor dem Kauf beantwortet hätte:

• Ich würde nach aktuellem Plan AMD EPYC 9475F CPUs kaufen (2 CPU-Maschinen). Da diese CPUs sehr neu sind die Frage: Wird diese CPU bereits von der Proxmox Enterprise Repository unterstützt? Wenn nein, wann ist es so weit?
• Wir haben entweder vor eine SAN zu verwenden: Wie aufwändig ist es NVMe/TCP aufzusetzen?
• Oder Ceph.
  • Wir würden hier entsprechend dem Proxmox VE Ceph Benchmark 2x 100 Gbit/s Netzwerk für Disk I/O und nochmals 2x 100 Gbit/s für VM Traffic verwenden. Bessere Vorschläge? Noch ist die Hardware nicht bestellt.
  • Um wieviel ist Erasure Coding langsamer als z.B. 3-fach Replikation im Vergleich? Hat das jemand in IOPS gemessen, oder in CPU-Auslastung?
• Ich würde für VE Standard-Lizenzen und für Backup Server eine Basic-Lizenz kaufen. Treffe ich eine falsche Entscheidung?
• Das ganze Setup soll redundant sein, also auch 2 Switches. Bei VMWare würde man kein LACP verwenden, wie ist das bei Proxmox und
• ist es möglich für verschiedene Dienste verschiedene Netzwerkkarten auszuwählen?

Danke für eure Antworten.

Hi,

ich würde dir empfehlen einen entsprechenden Consultant zu kontaktieren der deine Fragen im Einzelnen klären kann. Ein Cluster ist "HA". Zu HA und den daraus resultierenden Erwartungen gehört meiner Meinung nach durchaus eine intensive Planung und Vorbereitung.

CPU-Unterstützung – AMD EPYC 9475F

Ja, Proxmox VE basiert auf dem aktuellen Debian-Kernel und unterstützt AMD EPYC 9004 (“Genoa-X”) CPUs. Der EPYC 9475F wird von den neuesten Proxmox VE Versionen bereits unterstützt, solange das System mit einem aktuellen Kernel aus dem Enterprise Repository oder dem No-Subscription Repository läuft.
Falls spezifische Kernel-Optimierungen oder Microcode-Updates erforderlich sind, werden sie über reguläre Updates bereitgestellt.
Falls Unsicherheiten bestehen, kannst du mit einem Proxmox VE Live-ISO testen, ob die Hardware sauber erkannt wird.

Ceph:
    •    Ceph ist eine bessere Wahl für hyperkonvergente Setups, da es nativ in Proxmox VE integriert ist.
    •    Mit 2x 100 Gbit/s für Storage bist du für hohe IOPS und niedrige Latenzen gut aufgestellt.
    •    Falls mehr als 3 Nodes vorhanden sind, bietet sich Erasure Coding (EC) als platzsparende Alternative zur 3-fach Replikation an.
Empfohlene Netzwerkkonfiguration für Ceph:
    •    2x 100 Gbit/s Storage-Netzwerk (dediziert für OSDs, Backfill, Recovery)
    •    2x 100 Gbit/s für VM-Traffic und Cluster-Kommunikation
    •    Optimierungsmöglichkeiten:
    •    RDMA-Unterstützung (falls deine Netzwerkkarten das unterstützen)
    •    DPDK für optimierte Netzwerk-Performance
    •    Seperates Cluster-Netzwerk für OSD Backfill-Prozesse
    •    Wenn du SAN oder NVMe/TCP vermeiden kannst, dann ist Ceph der bessere langfristige Weg.

Erasure Coding vs. Replikation in Ceph
    •    Erasure Coding (z.B. 4+2 oder 6+2) spart Storage-Kapazität, ist aber CPU-intensiver.
    •    Replikation (z.B. 3 Kopien) benötigt mehr Speicherplatz, hat aber niedrigeren CPU-Overhead und ist in der Praxis oft schneller.
    •    Performance-Unterschiede (IOPS und CPU-Last):
    •    EC ist typischerweise 15-30% langsamer als 3-fach Replikation, abhängig vom Ceph-Backend (BlueStore vs. Filestore).
    •    EC benötigt mehr CPU-Kapazität pro OSD, was sich bei CPU-limitierten Setups auswirken kann.
    •    IOPS sind bei EC niedriger, weil mehr Datenfragmente berechnet werden müssen.
    •    Falls du viele kleine Random-IOPS benötigst (z.B. VMs, DBs), dann ist Replikation klar im Vorteil.
    •    Falls du primär sequentielle Last hast (z.B. Backups, große Files), kann EC mit ausreichend CPU eine gute Wahl sein.

Falls die IOPS entscheidend sind und genug Speicherplatz vorhanden ist, empfehle ich Replikation. Falls Speicherplatz ein Engpass ist und CPU-Reserven vorhanden sind, kann EC (z.B. 6+2) eine Option sein.

Lizenzwahl – Standard für VE, Basic für PBS
    •    Proxmox VE Standard ist sinnvoll, da du Zugang zum Enterprise Repository hast und Support bekommst.
    •    Proxmox Backup Server Basic reicht meist aus, solange du kein erweitertes Support-Level benötigst.
    •    Falls du auf kritische Produktions-Workloads setzt, könnte Premium für VE oder Standard für PBS besser sein.
    •    Backup-Verschlüsselung beachten: Falls Compliance relevant ist, kannst du Proxmox Backup Server mit clientseitiger Verschlüsselung betreiben.

Fazit: Die Lizenzwahl passt, aber falls du auf noch mehr Stabilität angewiesen bist, kannst du VE ggf. auf Premium upgraden.

Netzwerk & LACP – Empfehlungen für Proxmox
    •    Bei VMware wird oft kein LACP verwendet, weil VMware Distributed Switches und eigene Netzwerk-Stacks nutzt.
    •    Proxmox VE hingegen unterstützt LACP sehr gut, aber nur wenn der Switch es korrekt verarbeitet!
    •    Für Ceph Storage und Cluster-Kommunikation sollte kein LACP genutzt werden – stattdessen separate Links oder Multipath-Techniken wie BGP EVPN oder VXLAN.
    •    Für VM-Traffic kann LACP mit 802.3ad (Mode 4) oder Balance-alb sinnvoll sein, falls du Load-Balancing über mehrere NICs möchtest.
    •    Proxmox erlaubt es, verschiedene Netzwerkkarten für verschiedene Dienste zu nutzen:
    •    Ceph Storage: Dedizierte Netzwerkkarten mit hoher Bandbreite (kein LACP, stattdessen ECMP oder separierte VLANs).
    •    VM-Traffic: LACP oder VLAN-Tagging über Bonding.
    •    Cluster-Kommunikation: Dedizierte 10G+ Links, am besten getrennt von Ceph.
    •    Management: Separate NICs oder VLANs.

Falls du Redundanz über zwei Switches möchtest:
    •    MLAG (Multi-Chassis Link Aggregation) oder BGP EVPN wäre ideal.
    •    Falls die Switches kein MLAG unterstützen: Zwei getrennte Bonds mit Failover-Mechanismus auf OS-Ebene.
    •    VLANs für saubere Trennung zwischen Ceph, VMs, und Cluster-Traffic.

Zusammenfassung & Empfehlungen
    1.    CPU: AMD EPYC 9475F wird bereits von Proxmox VE unterstützt.
    2.    Storage: Falls hyperkonvergentes Setup geplant, ist Ceph mit 2x 100G Storage und 2x 100G VM-Traffic eine sehr gute Wahl.
    3.    Erasure Coding vs. Replikation:
    •    EC spart Platz, ist aber 15-30% langsamer und benötigt mehr CPU.
    •    3-fach Replikation ist performanter für VM-Workloads.
    4.    Lizenzierung: VE Standard + PBS Basic passt gut. Falls mehr Support gewünscht ist, Upgrade auf Premium für VE.
    5.    Netzwerk-Setup:
    •    LACP ist für VM-Traffic okay, für Ceph besser dedizierte Links.
    •    Separate Netzwerkkarten für verschiedene Dienste werden unterstützt.
    •    Falls Redundanz über 2 Switches → MLAG oder VLAN-Tagging nutzen.

Falls du noch Fragen zum finalen Setup hast, melde dich gerne!

 

[news]

Nur meine 2 ct, sollte man bei so fundierten Fragen zu einem alten Konzept, nicht besser einen kommerziellen Dienstleister, wie Thomas Krenn AG o.a., heranziehen??

 

[itNGO]

Nur meine 2 ct, sollte man bei so fundierten Fragen zu einem alten Konzept, nicht besser einen kommerziellen Dienstleister, wie Thomas Krenn AG o.a., heranziehen??

Was mein erster Satz in meiner Antwort war.... ;-)

 

[news]

Ja so ist das, wenn wir Menschen ähnliche Gedanken zur selben Zeit haben, so dürfen Sie sie ja auch frei formulieren und auch veröffentlichen. Daran ist doch nicht schlechtes oder?

 

[itNGO]

Ja so ist das, wenn wir Menschen ähnliche Gedanken zur selben Zeit haben, so dürfen Sie sie ja auch frei formulieren und auch veröffentlichen. Daran ist doch nicht schlechtes oder?

Aber naürlich. Das sollte auch eher Ausdruck von "Begeisterung" sein, das jemand anders das wohl ganz genau so sieht....

 

[Byolock]

Will den Thread nicht hijacken, aber hättest du @itNGO für die Empfehlung beim Ceph Storage Netzwerk kein LACP zu verwenden eine kurze Begründung?

Ich wollte sowas eigentlich in Zukunft bauen und höre zum ersten Mal davon, auch eine Kurze Suche mit den Stichworten 'ceph lacp' führt mich nicht gerade zu Warnungen beides zu Kombinieren. IBM schreibt in ihrer Netzwerk Doku zu 'IBM Storage Ceph' sogar : 'Also, consider using LACP mode 4 to bond networkinterfaces.'. Könnte natürlich sein das IBM in ihrer Distribution von Ceph dafür anpassungen vorgenommen hat, aber jetzt bin ich etwas verunsichtert.

 

[itNGO]

Will den Thread nicht hijacken, aber hättest du @itNGO für die Empfehlung beim Ceph Storage Netzwerk kein LACP zu verwenden eine kurze Begründung?

Ich wollte sowas eigentlich in Zukunft bauen und höre zum ersten Mal davon, auch eine Kurze Suche mit den Stichworten 'ceph lacp' führt mich nicht gerade zu Warnungen beides zu Kombinieren. IBM schreibt in ihrer Netzwerk Doku zu 'IBM Storage Ceph' sogar : 'Also, consider using LACP mode 4 to bond networkinterfaces.'. Könnte natürlich sein das IBM in ihrer Distribution von Ceph dafür anpassungen vorgenommen hat, aber jetzt bin ich etwas verunsichtert.

Gerne, prinzipiell kann es funktionieren und auch stabil sein. Wir hatten aber auch schon einige Support-Calls wo wir durch das abschalten von LACP und dedizierten Verbindungen gewisse Probleme lösen konnten. Auch mit dem Proxmox-Support gab es schon Calls wo uns empfohlen wurde das mal als Lösungsansatz zu deaktivieren. Hat an sich dann auch immer "geholfen". Daher haben wir in unseren Konfigurationen davon Abstand genommen für den CEPH-Traffic LACP zu benutzen. Was nicht heisst das es nicht in 9 von 10 Fällen sauber läuft... aber den einen... den erwischen wir interessanterweise "immer".....

 

[Falk R.]

• Ich würde nach aktuellem Plan AMD EPYC 9475F CPUs kaufen (2 CPU-Maschinen). Da diese CPUs sehr neu sind die Frage: Wird diese CPU bereits von der Proxmox Enterprise Repository unterstützt? Wenn nein, wann ist es so weit?

Die CPUs funktionieren wie alle anderen sauber. Es gibt keine extra Supportlisten, ich habe aber die Zen5 CPUs schon bei einem Kunden am laufen.

• Wir haben entweder vor eine SAN zu verwenden: Wie aufwändig ist es NVMe/TCP aufzusetzen?

Ist etwas Arbeit auf CLI, aber du verlierst einige Features, ich empfehle bei Neuanschaffung immer Ceph.

• Oder Ceph.
  • Wir würden hier entsprechend dem Proxmox VE Ceph Benchmark 2x 100 Gbit/s Netzwerk für Disk I/O und nochmals 2x 100 Gbit/s für VM Traffic verwenden. Bessere Vorschläge? Noch ist die Hardware nicht bestellt.
  • Um wieviel ist Erasure Coding langsamer als z.B. 3-fach Replikation im Vergleich? Hat das jemand in IOPS gemessen, oder in CPU-Auslastung?

EC kannst du für Datenpools (Filer) nutzen, aber ich empfehle das erst ab 7 Nodes aufwärts. Für die VMs und Datenbanken immer Replikation.

• Ich würde für VE Standard-Lizenzen und für Backup Server eine Basic-Lizenz kaufen. Treffe ich eine falsche Entscheidung?

Wenn dir die Reaktionszeiten passen, alles Top.

• Das ganze Setup soll redundant sein, also auch 2 Switches. Bei VMWare würde man kein LACP verwenden, wie ist das bei Proxmox und

Ich empfehle immer dedizierte Switches für den Storagetraffic. LACP ist natürlich auch zu empfehlen. Bei vSphere habe ich auch oft LACP genuzt, da geht das aber nur mit dswitch und Ent+ Lizenzen.

• ist es möglich für verschiedene Dienste verschiedene Netzwerkkarten auszuwählen?

Ja klar.

Danke für eure Antworten.

Wie oben schon empfohlen wurde, sucht euch am besten jemanden, der so ein Design öfters macht.

 

[Falk R.]

Gerne, prinzipiell kann es funktionieren und auch stabil sein. Wir hatten aber auch schon einige Support-Calls wo wir durch das abschalten von LACP und dedizierten Verbindungen gewisse Probleme lösen konnten. Auch mit dem Proxmox-Support gab es schon Calls wo uns empfohlen wurde das mal als Lösungsansatz zu deaktivieren. Hat an sich dann auch immer "geholfen". Daher haben wir in unseren Konfigurationen davon Abstand genommen für den CEPH-Traffic LACP zu benutzen. Was nicht heisst das es nicht in 9 von 10 Fällen sauber läuft... aber den einen... den erwischen wir interessanterweise "immer".....

Ich nutze immer LACP für Ceph, außer das Switchsetup gibt das nicht her.
Man sollte immer LACP L3+L4 nutzen, damit LACP auch vernünftig arbeiten kann.

 

[GhostTyper]

Die CPUs funktionieren wie alle anderen sauber. Es gibt keine extra Supportlisten, ich habe aber die Zen5 CPUs schon bei einem Kunden am laufen.

Ist etwas Arbeit auf CLI, aber du verlierst einige Features, ich empfehle bei Neuanschaffung immer Ceph.

EC kannst du für Datenpools (Filer) nutzen, aber ich empfehle das erst ab 7 Nodes aufwärts. Für die VMs und Datenbanken immer Replikation.

Wenn dir die Reaktionszeiten passen, alles Top.

Ich empfehle immer dedizierte Switches für den Storagetraffic. LACP ist natürlich auch zu empfehlen. Bei vSphere habe ich auch oft LACP genuzt, da geht das aber nur mit dswitch und Ent+ Lizenzen.

Ja klar.

Wie oben schon empfohlen wurde, sucht euch am besten jemanden, der so ein Design öfters macht.

Hey @Falk R.,

erstmal vielen Dank für eine nicht-LLM-generierte Antwort.

Gibt es hier im Forum oder auf der Seite eine Möglichkeit (außer Leute direkt im Forum anzuschreiben, also z.B. einen Thread oder k.A.) bei dem ich jemanden (für Geld) finde, der solche Setups öfters macht? Hast Du evtl. Interesse?

 

[itNGO]

Hey @Falk R.,

erstmal vielen Dank für eine nicht-LLM-generierte Antwort.

Gibt es hier im Forum oder auf der Seite eine Möglichkeit (außer Leute direkt im Forum anzuschreiben, also z.B. einen Thread oder k.A.) bei dem ich jemanden (für Geld) finde, der solche Setups öfters macht? Hast Du evtl. Interesse?

Es gibt die Proxmox-Partner auf der Webseite.... oder eben jemand hier im Forum der das kann, wie auch der @Falk R.

 

[Falk R.]

Hey @Falk R.,

erstmal vielen Dank für eine nicht-LLM-generierte Antwort.

Gibt es hier im Forum oder auf der Seite eine Möglichkeit (außer Leute direkt im Forum anzuschreiben, also z.B. einen Thread oder k.A.) bei dem ich jemanden (für Geld) finde, der solche Setups öfters macht? Hast Du evtl. Interesse?

Klar mache ich so etwas auch für Geld und auch andere Partner wie z.B. die inett, Thomas Krenn, primeLine oder andere machen das auch gern für Geld.