ESXi Migration mit 6 Nodes

[eviver]

Hallo,
ich wäre für etwas Beratung dankbar.

Die neue Vmware Führung hat uns zum Wechsel genötigt. Bislang bin ich recht zufrieden mit dem Proxmox Cluster, dass wir uns aus vier alten ESXi Host zusammengezimmert haben. Viele sekundäre Systeme laufen bereits problemlos und produktiv. Die Systeme sind alle mit 2x3 TB PCIe NVMe SSD (4 Jahre alt, ca 30% verbraucht) ausgestattet und bilden ein Ceph Cluster. Backup läuft über den PBS.

Im nächsten Schritt müssen wir aber auch noch zwei weitere Hosts, die derzeit per vSAN rund 20 Windows Server beheimateten, migrieren. Das Ceph Cluster hat gerade ausreichend Platz für die Server, aber es wird dann wirklich eng.

Die zwei ESXi Server sind neue Geräte mit je 5x5 TB NVMe SSDs (neu) ausgebaut.

Mein Plan ist die Migration der Server auf das PVE Cluster. Die dann freien Server sollen auch in das Proxmox Cluster aufgenommen werden. Aber wie komme ich dann mit den Daten weiter?

Die Server sollen auf jeden Fall auf die Ceph Speicher zugreifen können. Selbst Daten im Ceph bereitstellen wird aber wohl nicht funktionieren, da die Speicher zu unterschiedlich sind?
Oder ist das alles egal?

Macht es Sinn hier irgendwie ein 2Node System aufzubauen oder sollte ich noch einen Server kaufen (Preis 25.000 € rund) und die alten Server nach der Migration in Rente schicken?

Was würdet ihr empfehlen?

 

[Falk R.]

HI, du kannst bei Ceph jeden beliebigen Speicher mixen.
Natürlich sollte man aufpassen. Wenn du in einem Host 2 Große SSDs hast und auf dem anderen 6 kleine, dann bekommen die 2 natürlich mehr Load ab und sind dann vermutlich die Bremse.
Da du jetzt eh nur 2 Disks pro Node hast, solltest du eventuell etwas umverteilen.
Wenn du von den beiden neuen, je 2 NVMe wegnimmst und den alten Hosts je eine gibst, hast du zwar immer noch ein Kapazitätsdelta zwischen den Nodes, aber wenigstens überall 3 Disks.
Das Netzwerk ist auch noch ausreichend?

Wenn die Nodes nicht zu alt sind, kann man die gern weiter nutzen.

 

[eviver]

Vielen Dank für die Rückmeldung!

Die alten Server hatte ich in einer VDI Umgebung. Die brauchten wenig Storage aber viel RAM und CPUs. Umverteilen geht leider nicht. Die SSDs sind Samsung 1735 HHHL Karten im PCI Slot.
Die Front Bay der Server nimmt keine NVMe auf.
Vermutlich kann ich dort aber noch 20x SATA SSDs nachrüsten.

Die neuen Server haben die PCIe SSDs in der Front Bay.

Wenn ich mixen kann, werde ich es mal so versuchen. Das würde jedenfalls kurzfristig helfen.

Wäre es denn gut auch noch SATA SSDs in das Cluster zu werfen, damit die alten Nodes noch mehr zu verteilen haben, oder wird es nur langsam?

Derzeit ist die Geschwindigkeit im Ceph nah am Maximalen der Netzwerkverbindung.

Die Nodes sind alle über 4x10 GbE (2 für Ceph) verbunden.

 

[Falk R.]

Mit SATA tust du dir vermutlich kein gefallen, auch wenn das Netzwerk tatsächlich das Nadelöhr ist. Da die Server ja nicht neu sind, eventuell gebrauchte SAS SSDs nutzen? Die sind zwar auch langsamer aber das dürfte bei dem Netzwerk nicht spürbar sein. Als Nächstes das Netzwerk überarbeiten.

 

[eviver]

Die Geschwindigkeit ist bislang für den Anwendungsbereich nicht schlecht. Ceph ist schon etwas langsamer als vSAN, aber das ist nur gemessen. Die Anwender haben von dem Umzug nichts bemerkt.

Mehr als 10GbE ist für diese Maschinen nicht mehr drin. Irgendwann mit neuen Servern…

Vielleicht kann ich tatsächlich auch noch etwas mehr Storage in die alten Kisten einbauen, denn das Platzproblem ist derzeit meine größte Herausforderung.

Vielen Dank nochmals für die Hinweise!