ESXi Struktur mit Proxmox ersetzbar?

[superwinni2]

Hallo zusammen

ich bin aktuell am überlegen von meiner ESXi Struktur hin zu Proxmox zu wechseln.
Jedoch bin ich mir nicht ganz sicher ob dies überhaupt möglich ist....
Ich habe hier eine Hochverfügbare Struktur mit 2 Storages, 4 SAN Switchen und 4 ESXi-Hosts. Alles zusammen sind via 16GBit/s FibreChannel verbunden.
Habe es hier einmal Visualisiert:
Die Linke und die Rechte Hälfte sind zudem in unterschiedlichen Gebäuden. Aber das macht ja an der Logik nichts.


Die beiden Storages sind gespiegelt. Was links drauf ist, ist auch rechts drauf und umgekehrt. Darum kümmert sich die Storage. Aktuell werden die Daten auch von über beide Storages bezogen (Aktiv - Aktiv)
Aktuell haben wir 3 LUNs angelegt welche via FibreChannel entsprechend an den Hosts ankommen.

Nun überlegen wir ob wir das ganze auch irgendwie mit Proxmox hinbekommen....

Wir hatten oder brauchen gerne folgende Funktionen:

• Snapshots
• Dateien sollen nur einmal rumliegen. Natürlich auf beiden gleichzeitig.

 

[FrankList80]

Ein bisschen offtopic und auch 'schwammig', Entschuldigung dafür: ich stelle in vielen Projekten häufig die Frage nach den Betriebsaufwand der Storage-zentrierten Replikationen bzw. nach der 'harten HA' Anforderung für die VM. Ich treffe sie in der Tat (Industrie) an, aber häufig ist es auch 'gefühltes HA', was dann schliesslich häufig eine hohe Architektur-Komplexität nach sich zieht. Zusätzlich: die ganzen Shared Storage Komponenten und FC Switches sind ja per se auch eine Fault Domain an sich mit neuen (!) Point of Failures. Dilemma. Daher: ich bin über die Jahre ein 'Fan' von 'Lightning Fast Restore' plus SIngle-Hyperconverged (aka good old normale Server) Hosts geworden (z.B. mit VEEAM und hier z.B. VEEAM mit dem Storage-Backend-Plugin einer dedizierten Storage Lösungen mit Snapshots) - ich weiss, wenn man nicht die sophisticated VEEAM Features nutzt, ist die RTO nicht Null, aber sollten die HA-Anforderungen der Workloads nicht 'brutal' sein, ggf. einen Gedanken wert. /offtopic

 

[superwinni2]

Ich höre mir gerne jede Meinung an und auch egal ob OT oder nicht. Vielleicht findet man ja auch so einen weg zur Lösung.
Wie bereits richtig "geraten" ist diese Konstellation auch in der Industrie präsent. Wir sind gefühlt einer der wenigen die noch fast komplett auf Cloud verzichten und die Daten lieber selbst in der Hand haben.

Die Storage kümmert sich bei uns aktuell komplett selbst um das HA auf Storageseite. Administrationstechnisch ist der Betriebsaufwand meiner Meinung nach sehr gering bzw (außer ein paar Updates) gegen Null anzusetzen.

Ja die aktuelle HA Stufe ist so gewünscht. Klar kann es passieren, dass im Worst-Case ein ganzer Serverraum abraucht (oder mit Wasser geflutet werden könnte) und daher alles auf den beiden Hosts dann weg ist aber dafür müsste man dann im Normalfall einfach die VMs wieder auf den anderen Hosts starten oder wenn es eine absehbare Gefahr gibt (Kein Strom und USV betrieb) kann man entsprechend auf die andere Seite verschieben. Theoretisch kann ein Host alle VMs stemmen. Und falls nicht gibt es noch einige VMs die eine niedrige Prio haben und dann einfach aus bleiben. (Bei uns wäre hier der RAM der begrenzende Faktor)

Es gibt durch die 4 SAN Switche evtl. mehrere Point of Failures aber keine Fault Domain wenn einer ausfällt oder sogar zwei, solange sie in unterschiedlichen Serverräumen wären.

"Richtig Fettes HA" ist für mich eher sogar der Betrieb wenn Software HA fähig ist. Dies jedoch (arbeitstechnisch und wirtschaftlich) zu stämmen oder überhaupt passende Software zu finden ist jedoch eher die Ausnahme. Daher kann ich mit einem Host Ausfall Leben auch wenn es dann ärgerlich wäre. Bei einem unserer Systeme ist beispielsweise auch keine Replizierung oder ähnliches möglich da innerhalb der kurzen Zeitdifferenz so viel passiert, dass es schneller ist den Server mit Datenbank etc. neu zu starten statt die Fehler "geradezubügeln". (Nein das geht auch nicht anders, ist halt "shit by design")

Zum Thema Backup:
Man sieht ja bereits den Veeam Server der die Daten via SAN zieht. Dieser legt sie dann über iSCSI auf eine NAS, kopiert sie via Copy Job auf eine weitere NAS und dann noch auf ein LTO Tape. Aktuell benötigt ein Incremental Backup etwa 35 Minuten. Die ist jedoch aufgrund zeitlicher umstände in 3 kleine Jobs gelegt. (ERP, Prio1, Prio2)

Zum Thema RTO:
Die wird so oder so nie bei Null liegen da an immer als ITler intervenieren muss... Jedoch ist die Konstellation performant genug um mindestens die wichtigsten Server via Instant-Backup wieder auf die Beine zu stellen.

Hyperconverged Hosts sind bei uns fast nicht möglich da der Speicherplatz nur schwer abzubilden ist. Zudem bräuchten wir dann auch den Speicherplatz multipliziert mit der Anzahl der Hosts was es dann wahrscheinlich doch sehr teuer macht...

 

[Knaepper]

Moin,

bei uns ist die Storage Struktur fast gleich aufgebaut. Wir haben nur noch einen IBM SVC mit drin.
Und ein Quorum sollte es bei dir auch noch geben. Ich schaue mich auch gerade bei Proxmox um.
Da die Hardware komplett neu muss, werde ich es wohl mal mit HCI und Proxmox versuchen.
Baue mir gerade ein Testcluster auf......

Knaepper

 

[Falk R.]

Hallo zusammen

ich bin aktuell am überlegen von meiner ESXi Struktur hin zu Proxmox zu wechseln.
Jedoch bin ich mir nicht ganz sicher ob dies überhaupt möglich ist....
Ich habe hier eine Hochverfügbare Struktur mit 2 Storages, 4 SAN Switchen und 4 ESXi-Hosts. Alles zusammen sind via 16GBit/s FibreChannel verbunden.
Habe es hier einmal Visualisiert:
Die Linke und die Rechte Hälfte sind zudem in unterschiedlichen Gebäuden. Aber das macht ja an der Logik nichts.
View attachment 81282

Die beiden Storages sind gespiegelt. Was links drauf ist, ist auch rechts drauf und umgekehrt. Darum kümmert sich die Storage. Aktuell werden die Daten auch von über beide Storages bezogen (Aktiv - Aktiv)
Aktuell haben wir 3 LUNs angelegt welche via FibreChannel entsprechend an den Hosts ankommen.

Nun überlegen wir ob wir das ganze auch irgendwie mit Proxmox hinbekommen....

Wir hatten oder brauchen gerne folgende Funktionen:

• Snapshots
• Dateien sollen nur einmal rumliegen. Natürlich auf beiden gleichzeitig.

HI, generell ist die Struktur genau so nutzbar, bis auf Snapshots.
Ich stelle meinen Kunden mit solchen Setups immer die Frage, wofür benötigst du die Snapshots?

Unter vSphere habe ich auch schon seit Jahren versucht meine Kunden zu erziehne, möglichst keine Snapshots auf den VMs zu nutzen.
Wenn du Updates einer Software in einer VM machst, solltest du lieber ein Backup machen (Quick-Backup bei Veeam), da du die VM genauso zurückrollen kannst, aber auch zugriff auf einzelne Dateien im Backup hast, was ein Snapshot nicht kann.

Für Snapshot Backups bei Proxmox brauchst du kein Snapshot fähigen Datastore, da die Snapshots im Qemu Layer gemacht werden.

 

[superwinni2]

Hallo Falk

danke für Antwort.
Gehen wir mal davon aus, dass wir das mit den Snapshots sein lassen und dies Zukünftig via Veeam lösen...
Wie wird dann die Storage angeschlossen/ angesprochen?
Habe leider bisher wenig bzw. keine Erfahrung bezüglich Linux und FibreChannel mit Multipathing...
Was ist es dann für ein Storage Typ? Geteiltes LVM (das mit dem ³ )?

 

[Falk R.]

Moin, ja genau ganz normales LVM.
Das Multipathing musst du auf CLI machen wie bei jedem Linux und dann das mpath Device zur LVM Erstellung nutzen.

Für die Mitleser: Wenn das Storage auch NVMe over TCP unterstützt, braucht man kein extra Multipath einrichten, da die Funktion im Protocoll schon mit drin ist.

 

[superwinni2]

Ohje... jetzt gehe ich glaube in das "Rabbit Hole" und hoffe du kannst mir hier etwas behilflich sein...
Sachen wie "NVMe over TCP" höre ich gerade erst zum zweiten Male...

Habe mich mal in das Datenblatt unserer FS5200 gewühlt.
Hier finde ich folgendes:

FlashSystem 5200 supports the following transport protocols for host attachments: NVMe over Fibre Channel, NVMe over RDMA, and NVMe over TCP.

"NVMe over Fibre Channel" klingt ja ganz gut für meinen Anwendungsfall. (FC ist ja im Einsatz)
Wenn ich das richtig interpretiere ist RDMA für Infiniband und TCP für "IP-Netzwerke".

Wie stelle ich nun fest (nachdem ich die Hosts eingerichtet habe) ob ich dies habe bzw. nutze? Oder ist dem einfach so wenn ich das Storage via FC anbinde?

 

[Falk R.]

NVMe over FC habe ich bisher noch nicht eingerichtet. Bisher nur NVMe over RoCE und NVMe over TCP. Zweiteres war bisher am einfachsten.
NVMe over FC dürfte auch kein Problem sein, aber da müsste man sich auf die Anleitung von IBM verlassen.
Aber laut IBM Doku muss man bei NVMe over FC auch das native Multipathing konfigurieren, daher gibt es da keinen Konfigurationsvorteil.

FC Storage ist bei PVE ja eh nur eine Übergangslösung von Umsteigern. Sobald die Hardware ihr Dienstende erreicht, wechselt man eh zu einer anderen Lösung. Da empfehle ich ZFS mit Replika bei kleinen Umgebungen, Ceph als HCI oder z.B. NetApp mit NFS. Es gibt auch schöne Lösungen wie z.B: Jovian DSS wo man ZFS over iSCSI nutzen kann.