Umstieg von VMware, Entscheidungshilfe pro/con CEPH

[vmwombat]

Hallo zusammen,

wir stehen hier kurz vor der Entscheidung von VMware auf Proxmox VE zu migrieren. Für mich ist aktuell noch etwas unklar ob wir das CEPH Feature benötigen. In vSphere nutzen wir aktuell kein vSAN oder Storage vMotion. Ist CEPH damit vergleichbar? Habt ihr Links die mir zur Entscheidungsfindung helfen könnten? Wir haben hier 6 ESX Hosts im Cluster, Storage (Eternus und Nimble) per HBA/FC angebunden.

Danke

 

[Falk R.]

Hallo zusammen,

wir stehen hier kurz vor der Entscheidung von VMware auf Proxmox VE zu migrieren. Für mich ist aktuell noch etwas unklar ob wir das CEPH Feature benötigen. In vSphere nutzen wir aktuell kein vSAN oder Storage vMotion.

Ceph ist eine integrierte Storagevirtualisierung ähnlich VMware vSAN oder Microsoft S2D. Storage vMotion ist nur ein Feature, was VMware sich extra lizensieren lässt, aber bei jedem anderen Hypervisor einfach mit dabei ist. Das ist nur die Möglichkeit Disks von VMs im laufenden Betrieb auf einen anderen Datastore zu migrieren.

Ist CEPH damit vergleichbar? Habt ihr Links die mir zur Entscheidungsfindung helfen könnten? Wir haben hier 6 ESX Hosts im Cluster, Storage (Eternus und Nimble) per HBA/FC angebunden.

Die klassischen Storages die per iSCSI, FC oder NVMeoF angebunden sind, können natürlich auch an Proxmox VE angebunden werden.
vSphere ist Filesystem Centric und legt über all ein VMFS Dateisystem drauf, auf dem Dateien abgelegt werden. Ausnahme ist vSAN was auch modern auf ein einfaches Storage Pooling setzt.
Proxmox arbeitet aber Block Centric, womit man den Overhead vom Dateisystem spart, aber mit LVM auf iSCSI oder FC Disks hat ein paar limitierungen. Wenn Storages vorhanden sind und noch ein paar Jahre Support haben, binde ich die immer mit ein, aber bereite die PVE Hosts auf modernes Storage vor.
Ceph ist ein verteiltes Scaleout Storagesystem, aber auch Scale Up ist damit möglich.
Ceph bietet viele weitere Features wie Bit Rot Detection (Bitfehlererkennung), Self Healing, automatisches Loadbalancing und die Möglichkeit neben Mirror auch die Daten per Erasure Coding zu verteilen.

Mein Standard Migrationsschema sieht so aus:
- Wenn neue Hosts angeschafft werden, genügend Diskslots und schnelles Netzwerk konfigurieren um später im laufenden Betrieb auf Ceph wechseln zu können.
- Wenn alte Hosts und altes Storage weiter genutzt werden, dann klassisch mit LVM auf SAN LUN und das Backup unbedingt mit dem PBS. (proxmox Backup Server)
Nur mit dem PBS sind dann inkrementelle Snapshotbackups möglich, damit das Storage beim Backup nicht zu sehr in Stress gerät.

Coole Links zu dem Thema habe ich nicht, es gibt aber schon einige Diskusionen zu diesem Thema hier im Forum.
P.S. ich habe auch mal bei der Kielux einen Vortrag gehalten zur Migration mit minimaler Downtime. Das Migrationsverfahren was ich da beschrieben habe ist inzwischen auch in der offiziellen Doku (Proxmox Wiki).
Bei Bedarf kann man sich das noch bei Youtube oder Peertube anschauen.

 

[vmwombat]

Ceph ist eine integrierte Storagevirtualisierung ähnlich VMware vSAN oder Microsoft S2D. Storage vMotion ist nur ein Feature, was VMware sich extra lizensieren lässt, aber bei jedem anderen Hypervisor einfach mit dabei ist. Das ist nur die Möglichkeit Disks von VMs im laufenden Betrieb auf einen anderen Datastore zu migrieren.

Die klassischen Storages die per iSCSI, FC oder NVMeoF angebunden sind, können natürlich auch an Proxmox VE angebunden werden.
vSphere ist Filesystem Centric und legt über all ein VMFS Dateisystem drauf, auf dem Dateien abgelegt werden. Ausnahme ist vSAN was auch modern auf ein einfaches Storage Pooling setzt.
Proxmox arbeitet aber Block Centric, womit man den Overhead vom Dateisystem spart, aber mit LVM auf iSCSI oder FC Disks hat ein paar limitierungen. Wenn Storages vorhanden sind und noch ein paar Jahre Support haben, binde ich die immer mit ein, aber bereite die PVE Hosts auf modernes Storage vor.
Ceph ist ein verteiltes Scaleout Storagesystem, aber auch Scale Up ist damit möglich.
Ceph bietet viele weitere Features wie Bit Rot Detection (Bitfehlererkennung), Self Healing, automatisches Loadbalancing und die Möglichkeit neben Mirror auch die Daten per Erasure Coding zu verteilen.

Mein Standard Migrationsschema sieht so aus:
- Wenn neue Hosts angeschafft werden, genügend Diskslots und schnelles Netzwerk konfigurieren um später im laufenden Betrieb auf Ceph wechseln zu können.
- Wenn alte Hosts und altes Storage weiter genutzt werden, dann klassisch mit LVM auf SAN LUN und das Backup unbedingt mit dem PBS. (proxmox Backup Server)
Nur mit dem PBS sind dann inkrementelle Snapshotbackups möglich, damit das Storage beim Backup nicht zu sehr in Stress gerät.

Coole Links zu dem Thema habe ich nicht, es gibt aber schon einige Diskusionen zu diesem Thema hier im Forum.
P.S. ich habe auch mal bei der Kielux einen Vortrag gehalten zur Migration mit minimaler Downtime. Das Migrationsverfahren was ich da beschrieben habe ist inzwischen auch in der offiziellen Doku (Proxmox Wiki).
Bei Bedarf kann man sich das noch bei Youtube oder Peertube anschauen.

Danke Falk für deine ausführliche Antwort. Deinen Migrations-Vortrag bei Kielux hatte ich bereits entdeckt und als sehr nützlich befunden. Jetzt weiß ich auch mit wem ich hier spreche.

Wir müssen aus Kostengründen die bestehende Infrastruktur also ehemalige ESX-Hosts (jeweils nur eine SSD fürs OS mit 240 GB) + SAN via FC beibehalten. Beim Anbinden unserer LUNs bin ich auch noch recht unsicher. Ich habe bereits PVE mit LVM und ZFS auf eine gesonderten LUN getestet. Laut Doku kann aber doch nur ZFS Snapshots direkt auf dem Storage wo auch die VM-Disk liegt. Oder verstehe ich das falsch?

Dazu muss ich sagen, dass ich kompletter Quereinsteiger (Elektrotechniker) bin und mir alles anlesen muss. Hab die bestehende VMWare Umgebung geerbt und nach bestem Wissen und Gewissen gepflegt. Gestern erst wieder die Security Patches auf 8.0 2b gemacht.

Vielleicht muss ich dich mal direkt anfragen bzgl. eines Consultings um ein Konzept für unsere Migration zu erstellen. Bis dahin werde ich einfach mal alles lesen, was ich in die Finger bekomme. Leider sind die großen Systemhäuser noch nicht so weit was Erfahrung mit Proxmox betrifft. Ich glaube das die IT-ler die im KMU Bereich unterwegs sind, schon viel weiter sind.

Mein persönlicher Plan wäre ein sanfter Umstieg mit Parallelbetrieb beider Lösungen. Wir haben das Glück einen Failover von 50% der Hosts zu haben. Ich kann also 2 Hosts raus nehmen und dort den PVE Cluster aufbauen. Dann Stück für Stück weitere Hosts dazu nehmen.

Insgesamt find ich das alles sehr spannend und freu mich über alles was ich neu lernen darf.

 

[Falk R.]

Wir müssen aus Kostengründen die bestehende Infrastruktur also ehemalige ESX-Hosts (jeweils nur eine SSD fürs OS mit 240 GB) + SAN via FC beibehalten. Beim Anbinden unserer LUNs bin ich auch noch recht unsicher. Ich habe bereits PVE mit LVM und ZFS auf eine gesonderten LUN getestet. Laut Doku kann aber doch nur ZFS Snapshots direkt auf dem Storage wo auch die VM-Disk liegt. Oder verstehe ich das falsch?

ZFS, LVM-Thin und auch mit qcow2/vmdk Dateien auf diversen Dateisystemen kann nativ Snapshots.
LVM kann zwar keine Snapshots, aber für das Backup brauchen wir das nicht. Proxmox macht Snapshot Backups unabhängig von Storage drunter.
Wenn du nicht zwingend ständig Snapshots machen willst und dir inkrementelle Backups statt Snapshots genügen (99% aller Mittelständler) dann ist LVM eine ausreichende Lösung. Live restore (Booten der VM schon vom Backup beim Restore) funktioniert auch super.

Dazu muss ich sagen, dass ich kompletter Quereinsteiger (Elektrotechniker) bin und mir alles anlesen muss. Hab die bestehende VMWare Umgebung geerbt und nach bestem Wissen und Gewissen gepflegt. Gestern erst wieder die Security Patches auf 8.0 2b gemacht.

Sehr gut!

Vielleicht muss ich dich mal direkt anfragen bzgl. eines Consultings um ein Konzept für unsere Migration zu erstellen. Bis dahin werde ich einfach mal alles lesen, was ich in die Finger bekomme. Leider sind die großen Systemhäuser noch nicht so weit was Erfahrung mit Proxmox betrifft. Ich glaube das die IT-ler die im KMU Bereich unterwegs sind, schon viel weiter sind.

Die kleineren Systemhäuser sind da tatsächlich schon weiter, aber die ersten großen Systemhäuser machen sich auch schon schlau. Ich habe schon einigen Leuten eine Einführung in Proxmox gegeben, da waren auch Leute von einem Top5 Systemhaus dabei.

Mein persönlicher Plan wäre ein sanfter Umstieg mit Parallelbetrieb beider Lösungen. Wir haben das Glück einen Failover von 50% der Hosts zu haben. Ich kann also 2 Hosts raus nehmen und dort den PVE Cluster aufbauen. Dann Stück für Stück weitere Hosts dazu nehmen.

Insgesamt find ich das alles sehr spannend und freu mich über alles was ich neu lernen darf.

Dann lies mal ganz viel hier im Forum und glaube nicht alles was du auf Youtube siehst Ich habe da auch schon einiges gesehen, wo ich die Krise bekomme, wie man mit schlechtem Halbwissen solchen Unfug erzählt und das bei Youtube online stellt.

 

[vmwombat]

ZFS, LVM-Thin und auch mit qcow2/vmdk Dateien auf diversen Dateisystemen kann nativ Snapshots.
LVM kann zwar keine Snapshots, aber für das Backup brauchen wir das nicht. Proxmox macht Snapshot Backups unabhängig von Storage drunter.
Wenn du nicht zwingend ständig Snapshots machen willst und dir inkrementelle Backups statt Snapshots genügen (99% aller Mittelständler) dann ist LVM eine ausreichende Lösung. Live restore (Booten der VM schon vom Backup beim Restore) funktioniert auch super.

Wir nutzen in vSphere Snapshots auf den laufenden VMs oft während Upgrades / Patches um im schlechtesten Fall schnell wieder zurück zu kommen. Das würde mit LVM auf den LUNs dann ja nicht mehr gehen. Dieses Feature würde ich ungern aufgeben wollen. Oder sollte LVM-Thin auf shared Storage funktionieren?

 

[Falk R.]

Wir nutzen in vSphere Snapshots auf den laufenden VMs oft während Upgrades / Patches um im schlechtesten Fall schnell wieder zurück zu kommen. Das würde mit LVM auf den LUNs dann ja nicht mehr gehen. Dieses Feature würde ich ungern aufgeben wollen. Oder sollte LVM-Thin auf shared Storage funktionieren?

Hi, das höre ich auch immer wieder. Gerade bei Updates habe ich auch früher schon immer zu Veeam Quick Backups geraten, statt Snapshots auf vSphere. Wenn dir mal nur eine Konfigdatei kaputt geht, musst du nicht komplett zurück rollen sondern kannst diese restoren und ein Veeam Quick Restore oder PBS Live Restore dauer zwei klicks länger und dann ist die VM auch schon wieder online.
Das ist eine reine Gewöhnungssache.

Auf shared geht leider nur LVM. Hier was zum lesen für dich:
https://pve.proxmox.com/wiki/Storage

 

[sherminator]

Das ist eine reine Gewöhnungssache.

Das kann ich bestätigen. Mit PVE/Ceph und einem Proxmox Backup Server verschwimmt die Grenze zwischen Snapshot und Backup. Vor allem kleinere VMs, auf denen nicht allzuviel Veränderung stattfindet, erzeugen ein Backup in wenigen Sekunden.