Proxmox für 500-1000 VMs

[Stefan123]

Hallo zusammen,

ich hoffe ich bin mit meiner Frage an der richigen Stelle.

wir prüfen aktuell Optionen als Alternative zu unserem VMWare Umgebung und betrachten auch Proxmox. Ich suche Erfahrungswerte beim Betrieb von 500 - 1000 VMs auf Proxmox und natürlich auch zur Migration von VMWare.

Danke und viele Grüße

 

[Johannes S]

https://www.proxmox.com/en/about/about-us/stories hat einiges an Success Stories über Firmen, die ihre Infrastruktur migriert haben. Envtl. kann auch deren Vertrieb sales@office.com mit Referenzen dienen.
Auf die Schnelle habe ich folgende gefunden, wo es um Größenordnungen von 300-400 VMs geht:
https://www.proxmox.com/en/about/about-us/stories/story/estracom
https://www.proxmox.com/en/about/about-us/stories/story/x2com
https://www.proxmox.com/en/about/about-us/stories/story/horizoniq

Auf Reddit hat auch mal jemand erwähnt, dass sein Arbeitgeber einen Cluster mit über 30 Knoten betreibt, da würde ich auch entsprechend viele VMs erwarten Er erwähnte aber auch, dass die Standardkonfiguration damit nicht zuverlässig funktionierte (gab merkwürdige Ausfälle der Knoten), das konnten sie aber mit Unterstützung ihres Dienstleisters plus den Proxmox-Support in den Griff kriegen. Im Grunde ist es wohl so, dass bis 19 Knoten die Standardkonfiguration von corosync (dem Clustermechanismus) gut funktioniert, sofern man sich an die Dokumentation (insbesondere den Teil zu dezidierten Clusternetzwerk wegen der Latenzanforderungen) hält. Ab 20 Knoten muss man die Konfiguration anpassen, da ist es dann praktisch einen Proxmox-Partner oder den Support abrufen zu können, um keine Verschlimmbesserung vorzunehmen und ggf. auch die Hardware passend zu sizen.

Hier im Forum habe ich noch folgendes von 2018 gefunden:

V

Thread 'Maximum number of VMs per Proxmox server?'

Sep 18, 2018

Sorry if this is a repeat or in the FAQ somewhere, but I'm very new to Proxmox and I couldn't find it.

Is there a max number of VMs I can configure on a Proxmox server? Our test environment will need 1000 VMs, probably ~200 VMs per server, with a cluster of 5 or 6 Proxmox servers.

Is that a viable configuration (assuming we have the hardware to handle it, of course)?

Thank you, and thank you for some great software!
-
Scott

• voidindigo
• Replies: 8
• Forum: Proxmox VE: Installation and configuration

Demnach gab es damals eine technische Limitierung auf 3000 VMs/Container, das kann sich seitdem aber auch geändert haben.

 

[Falk R.]

Hallo zusammen,

ich hoffe ich bin mit meiner Frage an der richigen Stelle.

wir prüfen aktuell Optionen als Alternative zu unserem VMWare Umgebung und betrachten auch Proxmox. Ich suche Erfahrungswerte beim Betrieb von 500 - 1000 VMs auf Proxmox und natürlich auch zur Migration von VMWare.

Danke und viele Grüße

Hi, selbst migriert habe ich bisher erst Cluster bis ca. 300VMs, aber ich kenne auch Unternehmen mit bis zu 2000VMs.
Bei großen Unternehmen ist es aber oft schwieriger Infos zu bekommen, die veröffentlicht werden dürfen.

Die Migration von großen Clustern ist oft einfacher, da es dort in der Regel ein automatisiertes Deployment und saubere Dokus gibt.
Oft wird dann per Ansible & Co. migriert.
Bei den Mittelgroßen Unternehmen mit 200VMs+ gibts oft viele Altlasten wo die Migration öfter manuell gemacht werden muss.
Aber auch das ist kein Problem, ich habe mal zu dritt, einer für Vorbereitung, ich Migration und einer Nachbereitung haben wir 270VMs in 4 Tagen migriert.
Alles manuell, weil gefühlt jedes OS der Welt dabei war.

bei welchen Themen hast du denn die meisten Fragen?
Eventuell schilderst du auch mal welche vSphere Features ihr nutzt und du gern weiterhin hättest. Dann können wir dir aufzeigen ob und wie das geht.

 

[Stefan123]

Guten Morgen und vielen Dank für die umfangreichen Antworten. Grundsätzlich nutzen wir aktuell nur dei Hypervisor Lösungen, keinen Cloud Director. Das vSan würden wir wahrschenlich durch ein zentrales Storage ersetzen. Somit bleiben Funktionen wie:

- Betrieb von Windows Linux VMs mit HA (Wenn ein Node ausfällt)
- DRS, das wäre wohl ein Thema was bei Proxmox nicht vorhanden ist, richtig?
- Snapshots und Clones
- Teilweise Microsegmentierung
- Backup mit Veeam, das könnte vermutlich auch für Proxmox verwendet werden
- Zentrale Netzwerkverwaltung (Distributed Switch)
- Change Management für VMs: Ressourcen erweitern, Netzwerk anpassen,...
- Thin Provisioning

Primär frage ich mich, ob bei Proxmox Probleme mit der Performance oder der Stabilität zu erwarten sind (natürlich davon ausgehend, dass die HW passt) und ob die Verwaltung im Vergleich zu VMWare aufwändiger ist, was das Tagesgeschäft ausmacht.

Für die Migration wäre interessant wie hier grob der Weg aussehen könnte und mit welcher Downtime zu rechnen ist.

Viele Grüße

 

[Falk R.]

Guten Morgen und vielen Dank für die umfangreichen Antworten. Grundsätzlich nutzen wir aktuell nur dei Hypervisor Lösungen, keinen Cloud Director. Das vSan würden wir wahrschenlich durch ein zentrales Storage ersetzen. Somit bleiben Funktionen wie:

Bitte nicht, wenn ihr eh schon vSAN nutzt, dann habt ihr doch schon alle Voraussetzungen für Ceph. Das harmoniert und skaliert viel besser als ein externes Storage.

- Betrieb von Windows Linux VMs mit HA (Wenn ein Node ausfällt)
- DRS, das wäre wohl ein Thema was bei Proxmox nicht vorhanden ist, richtig?

Derzeit kann das eingebaute CRS nur so viel wie DRS Teilautomatisiert. Es gibt noch das Projekt ProxLB was DRS Funktionen bringt und es ist natürlich geplant, das CRS auch voll zu automatisieren.

- Snapshots und Clones

Mit Ceph kein Problem, bei einem Externen Storage kommt es auf das genutzte Protokoll an.

- Teilweise Microsegmentierung

SDN gibts auch

- Backup mit Veeam, das könnte vermutlich auch für Proxmox verwendet werden
- Zentrale Netzwerkverwaltung (Distributed Switch)

Kann man auch einiges mit SDN abbilden

- Change Management für VMs: Ressourcen erweitern, Netzwerk anpassen,...
- Thin Provisioning

Primär frage ich mich, ob bei Proxmox Probleme mit der Performance oder der Stabilität zu erwarten sind (natürlich davon ausgehend, dass die HW passt) und ob die Verwaltung im Vergleich zu VMWare aufwändiger ist, was das Tagesgeschäft ausmacht.

Da ist nix aufwändiger nur etwas anders. Manches einfacher und manches aufwändiger, aber das hält sich die Waage.

Für die Migration wäre interessant wie hier grob der Weg aussehen könnte und mit welcher Downtime zu rechnen ist.

Da gibts was feines, was ich mir vor ein paar Jahren ausgedacht habe, ich migriere VMs mit einem Reboot. Rekord bei einer Linux VM, 30 Sekunden Downtime. Mit Windows nicht realisierbar, das das booten zu lang dauert.

Viele Grüße

 

[Stefan123]

Hey, vielen Dank.

Als zentrales Storage meinte ich eine zentrales Ceph Storage-Cluster, also kein HCI-Ceph. Wir vermuten, dass ist performanter.

Siehst du da Probleme oder Nachteile.

 

[Falk R.]

Hey, vielen Dank.

Als zentrales Storage meinte ich eine zentrales Ceph Storage-Cluster, also kein HCI-Ceph. Wir vermuten, dass ist performanter.

Siehst du da Probleme oder Nachteile.

Performanter ist das nicht, eher weniger Performant, weil dann auch alle Reads den Host verlassen müssen. Macht aber Sinn wenn man sehr viel Windows betreibt und die CPU Ressourcen für Ceph nicht teuer mit MS Lizenzen bezahlen möchte.

 

[Johannes S]

Noch was zu großen Clustern und was man dann ggf. an den Corosync-Einstellungen anpassen muss:

Post in thread 'Proxmox with 48 nodes'

Dec 18, 2025

For bigger clusters than that, fine-tuning might be necessary. We are currently working on guidance on how to work with bigger clusters. For the time being I would recommend to split this into smaller clusters.

A status update on this:

Two corosync parameters that are especially relevant for larger clusters are the "token timeout" and the "consensus timeout". When a node goes offline, corosync (or rather the totem protocol it implements) will need to go through at least one full "token timeout" and one full "consensus timeout" to form a membership without that node.

The token...

• fweber

• 

 

[Falk R.]

Noch was zu großen Clustern und was man dann ggf. an den Corosync-Einstellungen anpassen muss:

Post in thread 'Proxmox with 48 nodes'

Dec 18, 2025

For bigger clusters than that, fine-tuning might be necessary. We are currently working on guidance on how to work with bigger clusters. For the time being I would recommend to split this into smaller clusters.

A status update on this:

Two corosync parameters that are especially relevant for larger clusters are the "token timeout" and the "consensus timeout". When a node goes offline, corosync (or rather the totem protocol it implements) will need to go through at least one full "token timeout" and one full "consensus timeout" to form a membership without that node.

The token...

• fweber

• 

Bei der Größe ist das noch kein Problem. Mit der VM Anzahl ist man ja im Bereich 10 bis max 20 Nodes.

 

[Johannes S]

Da Falk leider den Link zu seiner Methode für minimale vergessen hat:
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Attach_Disk_&_Move_Disk_(minimal_downtime)

Dazu hat er auch mal einen Vortrag gehalten: https://tube.tchncs.de/w/mda1M7h42oQhRkGVpxUGMg

Und hier wie man die Treiberproblematik elegant umschifft:

[TUTORIAL] Thread 'Kleiner Gamechanger bei der Windows Migration zu Proxmox'

Jun 25, 2025

Da ja schon die Methode zur Migration mit minimaler Downtime auf meinem Mist gewachsen ist, habe ich heute weitere gute Neuigkeiten.
Es ist möglich die Virtio Treiber vorab zu installieren, so das Windows direkt nach der Migration von VirtIO SCSI booten kann. Um es allen etwas leichter zu machen, habe ich ein virtio ISO modifiziert und da eine installations-Batchdatei abgelegt.
Bitte beachten, die Batchdatei muss im Pfad des CD Laufwerks als Administrator ausgeführt werden.

Download

Eventuell hat jemand mit Programmiererfahrung ja Lust, aus der Batchdatei einen richtigen Installer...

• Falk R.
• Replies: 87
• Forum: Proxmox VE (Deutsch/German)

•