Grundsatzfrage Umstellung ESXi -> Proxmox mit vorhandener SAN Struktur / Wie geht ihr damit um?

[Terra117]

Hallo zusammen,

wir stehen vor einer Grundsatzfrage auf die ich noch keine wirkliche Antwort habe.
Entsprechend große Kunden von uns laufen momenten mit 2 - 4 ESXi Servern, die per FC auf einer SAN hängen. Läuft alles wunderbar. Backups sind schnell, VMs sind schnell usw. usw.
Wäre da nicht das leidige Lizenzthema das die Kunden jetzt auch beschäftigt.

Mein Stand ist aktuell so das eine Umstellung auf Proxmox bei bestehender SAN Struktur eher schwierig wird. Umstellung auf Proxmox Cluster ist nicht drin.
Die SANs laufen sicher noch 6+ Jahre, haben bis zu 70TB Speicher und sind teilweise sogar komplett gespiegelt in anderen Gebäudeabschnitten. Die Kosten wären zu hoch.

Schlussendlich ist es ja eine Grundsatzfrage wie ich meine Serverlandschaft aufbaue zukünftig. SAN / zentraler Storage oder Clustering.

Wie geht ihr damit um? Habt ihr Kunden wo diese Fragen im Raum stehen? Ich persönlich würde bei dem Thema Infrastruktur gerne eher weniger mit US Produkten zu tun haben, aber Kosten / Nutzen muss man ja trotzdem beleuchten.

Gibt es von Proxmox da vielleicht näheres? Roadmaps oder so?

"snapshots as volume chains" scheint zumindest in die Richtung zu gehen.

 

[news]

Na dann - eine eher ketzerische Antwort - man setze vielleicht weiterhin auf ein totes Pferd?

Das man die Serverlandschaften nicht 100% ineinander Abbilden kann, ist aufgefallen.
Dann gibt es Berater, die hier einen Lösungsansatz, nach kompletten Analyse der Hardwarelandschaft, anbieten können.
SAN schließt sich noch meiner Auffassung nicht in Proxmox VE aus, ist halt Opensource Software und nicht alles Plug'n Play.
Geld oder Money wird man auf jeden Fall in die Handnehmen müssen und evtl. die Lösung und neue oder gebrauchte Hardware anpassen müssen.

Proxmox VE ist nach meinem Stand nicht als "Nachfolger" der von VMware ESXi 'gemacht' und somit es stellt eine eigene Lösungsansatz dar.

Also Proxmox VE Cluster auf ZFS mit 2 oder mehr Proxmox BS (ZFS) für die LXC und VM. Die Daten könnten dann auf ein San, das dann eher als reines Nas fungiert.
So bleibt der SSD/ NVMe Speicherbedarf der neuen Proxmox VE Sever kleiner und benötigte DDR4/ DDR5 ECC Ram ist ein eigene "Baustelle".

 

[news]

Nachtrag, Broadcom und VMware (ESXi) wird lizenziert, da 'gehört' einem die Software nicht!
Und es stellt sich immer die Frage nach den Kosten über z.B. hier 6 Jahren.

Was Kostet Proxmox VE in dieser Zeit?
# https://www.proxmox.com/de/produkte/proxmox-virtual-environment/preise

Und was passiert, wenn man keine Support Lizenz von Promxox VE/BS mehr hat?
Läuft die Software noch weiter?

Ich würde mich freuen, wenn man seine Anfrage(n) mal mit einer realen Kostenrechnung, für beide Modelle aufmacht!

Gefunden habe ich:
# https://blog.klauke-enterprises.com/vmware-zu-proxmox-migration

Die Angabe von % sind keine reellen Euronen und auch hier liest der geneigte Interessant, man startet mit einem neuen Promxox VE Cluster und die Umstellung erfolgt im Live - Betrieb, was nach meiner Auffassung die sicherste Variante ist.

Wenn der Kunde das nicht tragen kann, dann siehe ersten Beitrag, Satz 1.

 

[6equj5]

... laufen momenten mit 2 - 4 ESXi Servern, die per FC auf einer SAN hängen.

Gemini: https://share.google/aimode/QB4QmMXy1GzDCQGM8 Mal so als Einstieg.

Wir haben das (so oder so in der Art, bitte austesten, üben, etc.) mit einem Dell/Compellent (Alter ca. 8 Jahre) via iSCSI an mehrere PVE-Cluster (> 100 VMs) oder auch mit HP MSA direct SAS (zwei Hosts) am Laufen. Kunden sind schon happy, wenn sie nicht gleich alles neu anschaffen müssen.

Bei FC ... hm, k.A., ob das ggf. mit Treibern ein Problem wird.

 

[news]

Nachtrag 2 - Haftungfragen
Wenn ein IT-Dienstleister eine "heiße" Umstellung fahren soll, wer trägt dann das Risiko?
Und will man sich und den Mitarbeitenden solch einen Stress antun?
Es sollten in diesem Bereich doch genügend Kunden zu auf der "Straße" liegen, und ich würde als Unternehmen immer den sichersten Weg gehen, so dass der Betrieb und die Anforderungen der DSGVO eingehalten werden können.
Die Zuständigkeiten eines IT-Dienstleisters sollten begrenzt sein.
Wenn ein Kunde das nicht will, ok, dann bitte den Weg im ersten Beitrag, Satz 1. Wählen.

 

[Falk R.]

Hallo zusammen,

wir stehen vor einer Grundsatzfrage auf die ich noch keine wirkliche Antwort habe.
Entsprechend große Kunden von uns laufen momenten mit 2 - 4 ESXi Servern, die per FC auf einer SAN hängen. Läuft alles wunderbar. Backups sind schnell, VMs sind schnell usw. usw.
Wäre da nicht das leidige Lizenzthema das die Kunden jetzt auch beschäftigt.

Mein Stand ist aktuell so das eine Umstellung auf Proxmox bei bestehender SAN Struktur eher schwierig wird. Umstellung auf Proxmox Cluster ist nicht drin.

Wie kommst du denn da drauf? mache ich fast jede Woche.

Die SANs laufen sicher noch 6+ Jahre, haben bis zu 70TB Speicher und sind teilweise sogar komplett gespiegelt in anderen Gebäudeabschnitten. Die Kosten wären zu hoch.

Schlussendlich ist es ja eine Grundsatzfrage wie ich meine Serverlandschaft aufbaue zukünftig. SAN / zentraler Storage oder Clustering.

Wie geht ihr damit um? Habt ihr Kunden wo diese Fragen im Raum stehen? Ich persönlich würde bei dem Thema Infrastruktur gerne eher weniger mit US Produkten zu tun haben, aber Kosten / Nutzen muss man ja trotzdem beleuchten.

Ich nutze die alten Storages einfach weiter, solange es wirtschaftlich sinnvoll ist. Danach wird in der Regel auf Ceph umgestellt.

Gibt es von Proxmox da vielleicht näheres? Roadmaps oder so?

Wofür?

"snapshots as volume chains" scheint zumindest in die Richtung zu gehen.

Wenn du das unbedingt brauchst, ich bevorzuge lieber Backups, statt Snapshots. Snapshot Backups gehen bei Proxmox auch wenn der Datastore keine Snapshots unterstützt.

 

[Falk R.]

Nachtrag 2 - Haftungfragen
Wenn ein IT-Dienstleister eine "heiße" Umstellung fahren soll, wer trägt dann das Risiko?

Beide gemeinsam. Und das Risiko ist schon sehr gering, bei vernünftiger Planung. Die Vorbereitung ist das wichtigste, der Rest ist dann Easy.

 

[Johannes S]

Mein Stand ist aktuell so das eine Umstellung auf Proxmox bei bestehender SAN Struktur eher schwierig wird. Umstellung auf Proxmox Cluster ist nicht drin.

Warum sollte es? ProxmoxVE ist nichts anderes als ein sehr spezielles Linux, da läuft selbstverständlich auch SAN mit. Die eigentliche Frage ist, ob man damit klar kommt, dass die Sachen anders als unter Vmware funktionieren und man nicht unbedingt alle Features in gleicher Güte hat. Sowas wie vmfs auf alle möglichen Storage gibt es nativ unterstützt für ProxmxoVE nicht, die offiziell unterstützten Storage-Backends findest du in der Doku:
https://pve.proxmox.com/wiki/Storage

Für per FC angebundene SAN wäre lvm/thick der relevante Teil, dafür gibt es ein ziemlich gutes Writeup bei Blockbridge:
https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/

blockbridge ist ein storage vendor, der (entsprechend kostende) Storage-Hardware mit nativen Support für ProxmoxVE anbietet. Deren Mitarbeiter @bbgeek17 ist hier im Forum sehr aktiv und schreibt auch viel und kompetent zu Storage-Themen allgemein, das Writeup ist generell für alle per FC oder ISCSI angebundenen SANs anwendbar.
Was man sich dabei halt klar machen muss: Es gibt kein VMFS (was nicht nur Nachteile hat, durch den Wegfall eines Layers ist die Performance damit je nach Anwendung besser) und kein thin-provisioning. Snapshot-Support gibt es erst seit ProxmoxVE9 im "technology-preview" und hat ein paar Sachen, die man bedenken muss, auch dazu hat Blockbridge was geschrieben:
https://kb.blockbridge.com/technote/proxmox-qcow-snapshots-on-lvm/

Diese fehlenden Features müssen kein Showstopper sein, es gibt Leute die stattdessen thin-provisoning auf Storage-Ebene machen (falls sie nicht eh schon darauf verzichten) und statt Snapshots öfter Backups machen.

Was auch möglich ist: Da ProxmoxVE am Ende Linux ist kann man auch alles nutzen, was Linux unterstützt, nur halt ohne offiziellen Support von Linux. ocfs2 wird von manchen Leuten darum als quasi-vmfs-Ersatz genutzt. Aber das ist halt nicht vom Proxmox Support erfasst und die Meinungen wie gut oder schlecht das funktioniert, sind sehr geteilt. Wenn ihr vorher nichts mit Linux gemacht habt, würde ich davon die Finger lassen.

Die SANs laufen sicher noch 6+ Jahre, haben bis zu 70TB Speicher und sind teilweise sogar komplett gespiegelt in anderen Gebäudeabschnitten. Die Kosten wären zu hoch.

Schlussendlich ist es ja eine Grundsatzfrage wie ich meine Serverlandschaft aufbaue zukünftig. SAN / zentraler Storage oder Clustering.

Cluster gehen auch mit zentralen Storage, sie benötigen NICHT zwingend Ceph und man kriegt damit halt die Cluster-Features wie Hochverfügbarkeit, die ein einzelner Virtualisierungsknoten nicht hat. Nun sollte meiner Meinung nach HA soweit möglich eh auf Anwendungsebene abgebildet werden, aber wenn die Anwendung das nicht kann, dann ist HA im Hypervisor verdammt praktisch. Von Nettigkeiten wie unterbrechungsfreien Verschieben der VMs auf andere Knoten im Cluster für Wartungen mal ganz abgesehen Ceph halt halt den Vorteil direkt in ProxmoxVE supported und integriert zu sein (inklusive GUI) und (siehe Storageseite im wiki) so alle möglichen Features abzubilden. Aber: Die Hardware dafür (in Form von Platz für Platten/SSDs in den Servern, Netzwerk (minimum 10GB, empfohlen 25GB, wenn man eh neu macht bietet sich an 100Gb für langfristige Planung) muss man halt erstmal haben, ich kann nachvollziehen dass man das nicht macht, wenn die alte noch nicht abgeschrieben ist. Bei der nächsten Erneuerung kann und sollte man das aber natürlich mal durchrechnen, ob für das Geld für eine neue SAN man nicht auch die Knoten mit mehr Storage und Netzwerkkarten erneuern kann (die Server muss man ja auch irgendwann neu kaufen).

Wie geht ihr damit um? Habt ihr Kunden wo diese Fragen im Raum stehen? Ich persönlich würde bei dem Thema Infrastruktur gerne eher weniger mit US Produkten zu tun haben, aber Kosten / Nutzen muss man ja trotzdem beleuchten.

Ich habe keine Kunden, nutze PVE nur im Homelab und klugscheiße im Forum Aber Leute wie @Falk R. @Bu66as @LnxBil oder @gurubert (plus Andere, die ich vergessen habe) verdienen ihr Geld durch die Unterstützung von Firmen. Falls sich von denen keiner hier meldet, gucke mal im Forum nach alten Beiträgen von denen, da findet sich einiges.

Gibt es von Proxmox da vielleicht näheres? Roadmaps oder so?

Was genau willst du wissen und was ist deine Erwartung? Die offizielle Roadmap der Produkte ist im Wiki:

• ProxmoxVE: https://pve.proxmox.com/wiki/Roadmap
• DatacenterManager: https://pdm.proxmox.com/docs/roadmap.html
• ProxmoxBackupServer: https://pbs.proxmox.com/wiki/Roadmap
• ProxmoxMailGateway https://pmg.proxmox.com/wiki/Roadmap

Schöne Grüße, Johannes
Edit: ich sehe, mit Falk hat sich der erste erwähnte Experte schon gemeldet

 

[LnxBil]

Proxmox BS (ZFS)

Ich mag diese Abkürzung überhaupt nicht, BS ist in meinem Kopf für Bullshit reserviert und das ist der PBS absolut nicht.

Aber Leute wie @Falk R. @Bu66as @LnxBil oder @gurubert (plus Andere, die ich vergessen) verdienen ihr Geld durch die Unterstützung von Firmen.

@Falk R. hat ja schon ziemlich gut beschrieben wie das laufen kann. So lange das SAN freien Speicher für LUNs hat und man das Zoning korrekt hinbekommt passt das alles mit VMware und PVE auf unterschiedlichen LUNs. Auf gleichen LUNs wirst du es nicht hinbekommen, aber das sollte ja klar sein. VMFS von VMware kann IMHO von Linux aus nur gelesen werden.

Ich persönlich würde bei dem Thema Infrastruktur gerne eher weniger mit US Produkten zu tun haben, aber Kosten / Nutzen muss man ja trotzdem beleuchten.

SANs gibt es ja auch von anderen Herstellern. Wir haben einige Dorados von Huawei in Betrieb genommen, die drehen gut und sind sehr billig. Wenn eure Compliance-Abteilung einen Chinesen zulässt wäre das ne Möglichkeit. Sonst natürlich Fujitsu Eternus, haben wir viele Jahre im Einsatz gehabt mit PVE, drehen gut (wie eigentlich alle SANs).

 

[Terra117]

Hallo zusammen, ja das sind doch schonmal einige interessante Infos zum durchlesen.

Wie gesagt es geht im ersten Moment erstmal um Grundsatzfragen.

Klar wenn VMware läuft ist momentan alles gut. Da wurde vor Jahren viel Geld reingesteckt und ja da lässt man das am Besten einfach so laufen. Aber früher oder später wird die Frage kommen.

Snapshot ist hauptsächlich fürs Backup notwendig. Es wird Veeam genutzt da teilweise auch andere Systeme gesichert werden, Tape Libraries verwendet werden etc.

Proxmox ist relativ neu für uns und bisher haben wir daher auch nur single nodes am Laufen. Plug and Play ist natürlich nice aber am Ende kommt es natürlich auf die Funktion an.

Daher danke erstmal an alle für den Input.

 

[6equj5]

Es wird Veeam genutzt

Funktioniert nach meiner Erfahrung eher schlecht mit PVE, ist voller Bugs, lots of missing features ...

Wir sind da auch eher am Ablösen mit PBS. Spart noch mal einen Haufen Geld (wenn man learning mal beiseite lässt...)

 

[IsThisThingOn]

Da wurde vor Jahren viel Geld reingesteckt und ja da lässt man das am Besten einfach so laufen. Aber früher oder später wird die Frage kommen.

Doofe Frage, aber was hat sich denn geändert?
Vermutlich ein mehrjähriger Vertrag dahinter stecken?
Oder willst du dich einfach genug früh für den Wechsel vorbereiten?

 

[Johannes S]

Zum Thema Cluster und HA lesenswert:
https://pve.proxmox.com/wiki/Cluster_Manager
https://pve.proxmox.com/wiki/High_Availability

 

[Falk R.]

Hallo zusammen, ja das sind doch schonmal einige interessante Infos zum durchlesen.

Wie gesagt es geht im ersten Moment erstmal um Grundsatzfragen.

Klar wenn VMware läuft ist momentan alles gut. Da wurde vor Jahren viel Geld reingesteckt und ja da lässt man das am Besten einfach so laufen. Aber früher oder später wird die Frage kommen.

Snapshot ist hauptsächlich fürs Backup notwendig. Es wird Veeam genutzt da teilweise auch andere Systeme gesichert werden, Tape Libraries verwendet werden etc.

Auch Veeam braucht auch kein Snapshotfähiges Storage, so wie der PBS. Da werden die Snapshots im QEMU layer gemacht und das Storagesystem ist egal.
Ich nutze aber lieber eine Kombination aus PBS und Veeam. PBS für die einfachen VMs und als DR, und die paar wenigen VMs wie z.B. SQL Server, wo man single Item Recovery benötigt werden zusätzlich mit Veeam gesichert. Das spart massiv Lizenzkosten und der PBS Restore in der PVE GUI ist bei den Admins eh viel beliebter.