Metro/Stretch cluster mit Proxmox als Alternative zu vSphere oder Nutanix

[ICantDecide]

Wir sind eine Firma mit rund 100 ESXi hosts und 1500 VMs und Standorten weltweit. Wie haben viele kritische Applikationen und sind bisher mit vSphere gut gefahren. Natürlich sind die höheren Kosten für VCF nach der Übernahme durch Broadcom nun ein Thema - ich weiß, wir sind etwas spät dran...

Nun schauen wir uns verschiedene Alternativen an, spezielle für kleinere Standorte. Dort verwenden wir aktuell entweder 2-3 ESXi Hosts mit vSAN. Oder für wichtigere Standorte 4 Host Cluster mit gespiegeltem Blockstorage (FC-SAN). Dort war auch die Überlegung auf ein stretched vSAN zu gehen.

Linux Wissen ist nur begrenzt verfügbar.

Wie wäre sowas mit Proxmox zu realisieren? Wie gut kann Proxmox mit FC-SAN umgehen? Ich hatte in der Vergangenheit gelesen, dass das nicht immer straight forward ist? Wie würde man das Storage für einen Stretched Cluster mit 2 DCs realisieren? Ceph?

Was wären die zentralen Unterschiede zu vSphere, speziell was HA, DRS usw. angeht? Also die grundlegenden Unterschiede was die Funktionen angeht, wenn man von vSphere kommt?

 

[bl1mp]

Hi ICantDecide,

wenn ihr eine Lösung mit entsprechend breitem Support sucht, die oft eingesetzt und getestet ist, würde ich euch in jedem Falle zu Ceph raten.
Gerade wenn Linux Wissen nur begrenzt vorhanden ist.

Mit Ceph könnt ihr sowohl 3-Node Cluster, als auch streched 4-Node Cluster mit einem zusätzlichen Witness Knoten bauen. Alternativ, aber nicht aktiv HA kann man auch mit einem RBD-Mirror arbeiten.

Es gibt noch weitere Lösungen, aber ich denke, in den meisten Fällen trifft da der erste Absatz wieder zu.

BG, Lucas

 

[floh8]

Also für so eine Umgebung solltet ihr euch ausgiebig von einem Systemhaus beraten lassen. Für ein forum sprengt dies den Rahmen.

 

[ICantDecide]

Also für so eine Umgebung solltet ihr euch ausgiebig von einem Systemhaus beraten lassen. Für ein forum sprengt dies den Rahmen.

Das ist mir absolut klar. An dem Punkt sind wir aber noch nicht, da die Liste der möglichen Lösungen ist, versuche ich mir selber einen Überblick zu verschaffen. Auch aus persönlichem Interesse.

 

[Falk R.]

Wir sind eine Firma mit rund 100 ESXi hosts und 1500 VMs und Standorten weltweit. Wie haben viele kritische Applikationen und sind bisher mit vSphere gut gefahren. Natürlich sind die höheren Kosten für VCF nach der Übernahme durch Broadcom nun ein Thema - ich weiß, wir sind etwas spät dran...

Nun schauen wir uns verschiedene Alternativen an, spezielle für kleinere Standorte. Dort verwenden wir aktuell entweder 2-3 ESXi Hosts mit vSAN. Oder für wichtigere Standorte 4 Host Cluster mit gespiegeltem Blockstorage (FC-SAN). Dort war auch die Überlegung auf ein stretched vSAN zu gehen.

Linux Wissen ist nur begrenzt verfügbar.

Kein Problem, alles wichtige geht in der GUI, besser als HyperV, wo man viel per Powershell machen muss.

Wie wäre sowas mit Proxmox zu realisieren? Wie gut kann Proxmox mit FC-SAN umgehen? Ich hatte in der Vergangenheit gelesen, dass das nicht immer straight forward ist? Wie würde man das Storage für einen Stretched Cluster mit 2 DCs realisieren? Ceph?

FC geht zwar, ist aber nicht so straight forward wie bei vSphere. Da wäre etwas Linux Know How nicht schlecht.
Ich realisiere solche Projekte am liebsten mit Ceph, und bei Streched muss man immer schauen wo man den 5. Node als Quorum hinstellt. Da nutze ich gern Backupserver oder kleine mini Rechner als Quorum.

Was wären die zentralen Unterschiede zu vSphere, speziell was HA, DRS usw. angeht? Also die grundlegenden Unterschiede was die Funktionen angeht, wenn man von vSphere kommt?

HA ist sehr vergleichbar. DRS gibts noch nicht vollumfänglich, aber das CRS von Proxmox ist vergleichbar wie DRS Teilautomatisiertm, nur mit dem Vorteil, dass VMs beim Wartungsmodus automatisch migriert werden und wie bei HyperV nach dem Wartungsmodus genau die gleichen VMs zurück migriert werden. Das finde ich persönlich besser gelöst als bei DRS.
Der nächste große Unterschied, bei vSphere basiert alles auf Dateisystemen (VMFS, NFS) und bei Proxmox wird sehr oft Blockstorage direkt ohne Dateisystem genutzt. Z.B. LVM/LVM-Thin, ZFS Pool, Ceph.
Man muss nur umdenken, weil man keine Dateien hat, spart sich aber eine Ebene, was bei einigen Workloads deutlich bessere Performance bringt.

 

[ICantDecide]

Kein Problem, alles wichtige geht in der GUI, besser als HyperV, wo man viel per Powershell machen muss.

Ja, Hyper-V ist das drohende Ungemach, das auch als eine Alternative im Raum steht.

FC geht zwar, ist aber nicht so straight forward wie bei vSphere. Da wäre etwas Linux Know How nicht schlecht.
Ich realisiere solche Projekte am liebsten mit Ceph, und bei Streched muss man immer schauen wo man den 5. Node als Quorum hinstellt. Da nutze ich gern Backupserver oder kleine mini Rechner als Quorum.

FC geht dann über den Umweg LVM? Wir haben an den größeren Standorten ein gewachsene Umgebung mit FC-SAN, das wird erstmal auch genutzt werden müssen. Da wurde bisher auch vSAN nicht akzeptiert. Bei den kleineren Standorten mit 2 Node vSAN, steht die Witness/Quorum auch entweder im HQ, oder an einem anderen Standort in der Region. Wenn es um richtige streched cluster geht, hätte die Latenz zum Quorum einen Einfluss auf die Performance? Ich denke nicht, nur die site to site Latenz ist da ja entscheidend.

Mit Ceph hatte ich im Rahmen eines OpenStack Projekts minimalen Kontakt. Ich hatte damals das Gefühl, dass das etwas frickelig ist. Weiß aber auch, dass das CERN usw. es im großen Rahmen verwenden.

HA ist sehr vergleichbar. DRS gibts noch nicht vollumfänglich, aber das CRS von Proxmox ist vergleichbar wie DRS Teilautomatisiertm, nur mit dem Vorteil, dass VMs beim Wartungsmodus automatisch migriert werden und wie bei HyperV nach dem Wartungsmodus genau die gleichen VMs zurück migriert werden. Das finde ich persönlich besser gelöst als bei DRS.
Der nächste große Unterschied, bei vSphere basiert alles auf Dateisystemen (VMFS, NFS) und bei Proxmox wird sehr oft Blockstorage direkt ohne Dateisystem genutzt. Z.B. LVM/LVM-Thin, ZFS Pool, Ceph.
Man muss nur umdenken, weil man keine Dateien hat, spart sich aber eine Ebene, was bei einigen Workloads deutlich bessere Performance bringt.

Gibt es eine Übersicht, wann man welche Storage Lösung verwendet? Das ganze soll eben möglichst wartbar sein und einfach nur laufen ohne sich ständig darum kümmern zu müssen. Das war mit vSphere bisher tatsächlich so, auch mit vSAN. 2 Leute, die das nebenher machen, haben ausgereicht.

Dazu kommt noch die Unterstützung durch Veeam Backup, das ist die gesetzte Lösung und zumindest grundlegende Dinge wie CBT, Snapshost usw. sollte eine Alternative unterstützen. Aktuell nutzen wir noch Dinge wie Backup von Storage Snapshots, InstantRecovery, SureBackup usw.

 

[Falk R.]

@ICantDecide
Ich habe auch einige Cluster mit FC oder iSCSI Storage bei Kunden. Aber gerade diese Woche wieder ein Krankenhaus vom alten Storage auf Ceph umgebaut, der Kunde ist Happy, weil extrem Simpel in der Handhabung und deutlich bessere Performance als das alte Storage mit SAS SSDs.

Ceph nativ erfordert schon Fachwissen und die GUI ist extrem überladen. Bei Proxmox wurden die Funktionen in der GUI auf das Notwendigste reduziert und wesentlich Sinnvoller neu angeordnet.
Die Einrichtung gerade beim Netzwerk sollte jemand machen, der das schon einmal gemacht hat, aber der Betrieb ist extrem einfach und sehr Vergelichbar zu vSAN. Ich finde es sogar noch etwas besser. Eventuell auch weil man sich die Konfiguration auch als Text anschauen kann und damit besser weiß was konfiguriert ist.

Veeam Backup geht auch mit Proxmox, aber ich finde es noch etwas Hakelig und im Vergleich zum PBS auch langsam.
Aus Kostengründen, der Integration in PVE und dadurch einfacheres Rechtemanagement beim Backup/Restore haben eigentlich alle meine Kunden einen PBS am laufen und nur VMs mit Datenbanken und Co. werden per Veeam Applicationaware gesichert, um da zusätzlich granulare Applicationrestores zu machen.
Weil man keine extra GUI bedienen muss und Backups sowie Restores im PVE steuert, scheut auch niemand 2 Lösungen zu benutzen. Man hat ja nur eine extra GUI von Veeam.;
)

 

[Falk R.]

Ach ja , noch ein wichtiges Detail. Man kann mit FC Storage und LVM, wo keine Snapshots gehen (ja es gibt eine Preview Funktion) trotzdem Snapshot Backups mit dem PBS machen.
Die Snapshots werden im qemu Layer gemacht und sind somit unabhängig vom darunterliegenden Storage.
Wenn man statt der Snapshots lieber Backups macht, hat das eh nur Vorteile, von der Entlastung des Storages über Restore einzelner Dateien statt kompletter Rollbacks und so weiter.