Ideen für Umstieg von vmware esxi auf Proxmox (Hardware-Infrastruktur Änderung)

Partake5177

New Member
May 8, 2024
4
0
1
Hallo zusammen,

zuerst mal hoffe ich es ist ok diese Frage hier zu stellen.
Bin seit 3 Jahren als Systemadminstrator in einem Unternehmen und möchte die bestehende vmware ESXi-Infrastruktur auf Proxmox umstellen. Bin noch nicht so lange im Thema und arbeite mich erst Stück für Stück in die Thematik ein.

Aktuell habe ich 2 esxi Server im Einsatz (kein vSphere). Der erste Server ist recht aktuell und wurde letztes Jahr beschafft, der zweite Server wurde bereits 2017 beschafft.
Der zweite (ältere) Server ist eigentlich nice-to-have, da laufen ein paar Test-VMs aber nichts was wirklich für den produktiven Betrieb notwendig ist.

Beide Server hängen per isci an einem SAN (ebenfalls 2017) das 5 Raids auf HDDs und ein Raid auf SSD besitzt. Die Hypervisor haben keine eigenen Festplatten (außer fürs OS). In Summe habe ich ca. 11TB zur Nutzung zur Verfügung. Genutzt sind aktuell ca. 9 TB. Aufgrund der eingeschränkten Unterstützung des SANs und der fragwürdigen RAID-Konfigurationen ist jedoch der Speicher eher knapp.

Der neue Server hat eine PCI-Raid Karte mit 2x NVMe. Dieses wird aktuell verwendet für einen Datenbankserver (läuft auch als VM auf dem Hypervisor).

Als der neue Server letztes Jahr beschafft wurde, durfte das Thema Speicher jedoch nicht berücksichtigt werden.
(Aussage: Das SAN hat damals 10.000€ gekostet und der Vorteil des SAN ist, dass wenn ein Hypervisor ausfällt die VMs recht zeitnahe auf dem zweiten Hypervisor gestartet werden können). Meine Argumente dass das SAN morgen defekt sein kann und wir dann einen längeren komplett Ausfall haben wurden leider nicht wahrgenommen. Außerdem bin ich ziemlich sicher dass dieses SAN der Flaschenhals in unserer Infrastruktur ist.

Aufgrund von NIS2 und daraus resultierenden Anforderungen aus der Risikobewertung sowie der vmware Lizenzänderungen plane ich nun den Umstieg auf Proxmox und in diesem Zuge werde ich auch das Thema Speicher angehen.

Mein erster Gedanke wäre wie folgt:

Alle VMs auf den zweiten (älteren Server) während der Umstellung laufen lassen.
Den neueren Server mit 8x SSD bestücken (der hat 8x 3.5 Zoll Einschübe). Proxmox auf den neuen Server installieren, dann die Migration aller VMs durchführen.

Meine Aktuelle Frage dazu wäre, wie die 8 Platten im neueren Proxmox dann konfiguriert werden.

So wie ich das verstanden habe, käme hier dann ZFS zum Einsatz. Muss ich hier dann auf etwas aufpassen oder ist das mit der Raid Konfiguration und der daraus resultierenden Performance dann nicht mehr so heikel?

Ein RAID-Z1 mit 3 Disks pro DataGroup und mit 4 Data Groups auf jeweils 4 TB Platten ergibt eine Kapazität von 26TB und Performance sollte auch gut sein so wie ich das verstanden habe.

Hardware-RAID Controller macht ja weniger Sinn mit Proxmox (was ich bis dato rauslesen konnte).

Sollte high availability dann eine Vorgabe von der Geschäftsführung sein dann würde ich einen identen Server und einen RaspberryPi als qdevice verwenden.

Wer bis jetzt gelesen hat ist natürlich gern eingeladen seine Ideen und Anregungen mit mir zu teilen :)

Vielen Dank vorab.
 
Last edited:
Alle VMs auf den zweiten (älteren Server) während der Umstellung laufen lassen.
Den neueren Server mit 8x SSD bestücken (der hat 8x 3.5 Zoll Einschübe). Proxmox auf den neuen Server installieren, dann die Migration aller VMs durchführen.
Gibt es für den Server 3,5" auf 2,5" conversion Kits? Mal als erstes checken.
Meine Aktuelle Frage dazu wäre, wie die 8 Platten im neueren Proxmox dann konfiguriert werden.

So wie ich das verstanden habe, käme hier dann ZFS zum Einsatz. Muss ich hier dann auf etwas aufpassen oder ist das mit der Raid Konfiguration und der daraus resultierenden Performance dann nicht mehr so heikel?

Ein RAID-Z1 mit 3 Disks pro DataGroup und mit 4 Data Groups auf jeweils 4 TB Platten ergibt eine Kapazität von 26TB und Performance sollte auch gut sein so wie ich das verstanden habe.
Also wenn du 4TB HDDs nutzen willst und RaidZ, dann hast du am Ende des Tages gar keine Performance. Die HDDS sind schon langsam und RaidZ (wie Raid5) ist der Performance auch nicht zuträglich.
Ich würde SSDs nutzen und die im Mirror fahren.
Eine 7,68 TB NVMe gibts schon für unter 1000€ und wenn da nur SAS rein geht bekommst du die auch für unter 1500€.
Für Produktiv würde ich 6x7,6TB SSD nehmen und mit 3 Mirrors im Pool hättest du 21TiB Netto Poolkapazität. Mit NVMe's könntest du auch RaidZ fahren, aber da würde ich mit 5 NVMe ein RaidZ2 (wie Raid6) machen und du hättest die gleiche Kapazität.

Mit Replikation auf den "alten" hättest du eine Failovermöglichkeit für der Ernstfall.
Hardware-RAID Controller macht ja weniger Sinn mit Proxmox (was ich bis dato rauslesen konnte).
Kann man auch machen, dann aber lieber mit LVM-Thin statt ZFS. Damit fällt aber die Option für Replikation flach.
Sollte high availability dann eine Vorgabe von der Geschäftsführung sein dann würde ich einen identen Server und einen RaspberryPi als qdevice verwenden.
Gute Idee
 
Gibt es für den Server 3,5" auf 2,5" conversion Kits? Mal als erstes checken.

Also wenn du 4TB HDDs nutzen willst und RaidZ, dann hast du am Ende des Tages gar keine Performance. Die HDDS sind schon langsam und RaidZ (wie Raid5) ist der Performance auch nicht zuträglich.
Ich würde SSDs nutzen und die im Mirror fahren.
Eine 7,68 TB NVMe gibts schon für unter 1000€ und wenn da nur SAS rein geht bekommst du die auch für unter 1500€.
Für Produktiv würde ich 6x7,6TB SSD nehmen und mit 3 Mirrors im Pool hättest du 21TiB Netto Poolkapazität. Mit NVMe's könntest du auch RaidZ fahren, aber da würde ich mit 5 NVMe ein RaidZ2 (wie Raid6) machen und du hättest die gleiche Kapazität.

Mit Replikation auf den "alten" hättest du eine Failovermöglichkeit für der Ernstfall.

Kann man auch machen, dann aber lieber mit LVM-Thin statt ZFS. Damit fällt aber die Option für Replikation flach.

Gute Idee
Vielen Dank für deinen Input! :)

2.5" Kits gibt es ja.
Würde alles auf SSD gehen, keine HDDs mehr.
Stimmt ich könnt ja auch auf Mirror gehen, macht vermutlich mehr Sinn. Dann könnte ich immer noch 2 Platten hinzufügen falls erforderlich.


Was mache ich dann mit der PCI-Raid-Karte mit den 2 NVMe? Kann ich diese wie bisher (ohne Replikation) rein für die Datenbank nutzen?
 
Was mache ich dann mit der PCI-Raid-Karte mit den 2 NVMe? Kann ich diese wie bisher (ohne Replikation) rein für die Datenbank nutzen?
Ja kannst du, aber du kannst trotzdem Replication Nutzen. Da es asynchron ist, gibt es keinen Write Impact wie bei einem Netzwerk gemirrorten Setup. Ich Repliziere DB Server gern im 1 Minute Takt, damit im K-Fall nicht viel verloren geht.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!