Datacenter Setup Best Practices

[dasfliege]

Wir werden dieses Jahr unser bestehendes Hyper-V Datacenter (2 Sites, >700VMs) ersetzen. Der ursprüngliche Plan, auf VMWare zu wechseln, ist vorerst leider auf Eis gelegt. Wir evaluieren daher Alternativen, welche allefalls interessant sein könnten. Darunter Proxmox.
Ich möchte nun einen PoC durchführen und Proxmox gegen Hyper-V vergleichen. Dazu habe ich einige Fragen zu den Best Practices, wenn man Proxmox mit Enterprise Komponenten betreiben möchte. Leider habe ich auf Anhieb im Forum vor allem Hinweise für das Setup in Homelabs gefunden.

- Wir setzen All-Flash Unified Storage ein. Sie können iSCSI, NFS oder RoCE und werden wahlweise mit 25- oder 100Gbit an die Hosts angebunden. Was empfiehlt sich hinsichtlich Stabilität und Performance im Zusammenspiel mit Proxmox Cluster, bzw. was ist das Equivalent zu VMFS in VMWare oder CSV in Hyper-V?
- Falls man SAN-Storage/iSCSI verwendet, welches Dateisystem sollte man für die Datastores benutzen?
- Falls man NAS-Storage/NFS verwendet, welche NFS Version wird empfohlen? Wird NFS-Multipathing unterstützt, oder sollte man via einem LACP Redundanz herstellen?

Gibt es hier Leute, die grössere Datacenter mit Proxmox betreiben und dies auch empfehlen können?

 

[dietmar]

Für größere installationen empfehlen wir CEPH als Storage zu verwenden.

Siehe auch: https://ceph.io/en/discover/technology/

Konfiguration und management sind in unser GUI integriert.

Success Stories: https://proxmox.com/en/about/stories?f=7

 

[dasfliege]

Gibt es für die Empfehlung eine technische Begründung, warum man das tun soll?
Wir besitzen bereits hochperformante und hochverfügbare Speichersysteme, die alle Protokolle können. Wieso soll ich dann mit CEPH eine weitere Abstrahierung dazwischen bauen? Was habe ich dadurch für einen Vorteil gegenüber einem "klassischen" shared Storage?

 

[sb-jw]

- Wir setzen All-Flash Unified Storage ein. Sie können iSCSI, NFS oder RoCE und werden wahlweise mit 25- oder 100Gbit an die Hosts angebunden. Was empfiehlt sich hinsichtlich Stabilität und Performance im Zusammenspiel mit Proxmox Cluster, bzw. was ist das Equivalent zu VMFS in VMWare oder CSV in Hyper-V?

Dabei kann ich mir wirklich nur @dietmar anschließen und sagen, dass man das mit CEPH abbilden sollte.

Wieso soll ich dann mit CEPH eine weitere Abstrahierung dazwischen bauen?

Du baust dir keine Abstrahierung dazwischen, du schmeißt deine proprietäre Hardware einfach weg und kaufst Enterprise Hardware frei nach deinen Wünschen vom Markt. Der CEPH Storage bietet dir eine eingebaute Redundanz, der Skaliert grundsätzlich bis ins unendliche, du bist nicht an einen Hersteller gebunden. Natürlich gibt es hier auch Best Practises, aber du musst nicht die 960 GB SSD von HP für 350 EUR kaufen sondern kannst die PM883 für 75 EUR Netto einkaufen. Du baust dir am besten damit einen HCI Cluster auf, dann ist alles auch redundant aufgebaut und du hast kein SPoF in deinem Setup.
Meine Hardware Upgrades in der Vergangenheit bestanden auch darin, dass ich die alte Node herunterfahre, dann nötige Teile wie z.B. NIC oder eben die Disks herausnehme und in die neue Hardware stecke. Damit ist der Wechsel von z. B. Dell PowerEdge R620 auf die R630 in 15 Minuten pro Node durch. Ich musste hier keine Daten migrieren oder Nodes neu installieren. Geht dir mal ne Node kaputt, egal, nimm nen gleichwertigen Server, hau die SSDs rein und fahr den hoch. Das funktioniert in der Regel im Enterprise Umfeld ohne Probleme. Du kannst auch einfach Refurbished Hardware kaufen und dir lieber für den Preis von neuen Systemen mit Support etc. einfach 5 als Cold Spare ins Lager legen, schneller tauscht dir Dell die Systeme auch nicht aus.

Was habe ich dadurch für einen Vorteil gegenüber einem "klassischen" shared Storage?

Allem voran die Herstellerunabhängigkeit von Hardware und damit auch gleichzeitig eine sehr große Kosteneinsparung. Du brauchst keine Support Subscriptions zu kaufen (kannst du natürlich tun um die Arbeit von Proxmox zu unterstützen), du brauchst keine Lizenzen zu kaufen, du hast keine legacy Clients die du zur Verwaltung brauchst.

Vielleicht kannst du ja mal einen Fragenkatalog mit spezifischen Fragen stellen, was du zu CEPH wissen möchtest oder was du benötigst (auch ggf. Anforderungen die z.B. vertraglich geregelt sind). Neben mir gibt es hier sehr viele weitere die auch erfolgreich CEPH einsetzen und es sicherlich auch uneingeschränkt als Shared Storage empfehlen können.

 

[dasfliege]

Vielen Dank für die ausführliche Antwort. Aber vielleicht muss ich meine Anforderungen etwas genauer spezifizieren Wir haben bereits ziemlich frischen Huawei enterprise Storage mit 16TB NVmE disks. Die Dinger kosten eim Vermögen und werfen wir sicher nicht weg. Sie sind absolut bulletproof und wir kennen und bestens damit aus, haben fixe Supportverträge und replacement Garantien, was wir gegenüber unseren Kunden, die ihre Umgebungen auf unserer Infra betreiben, auch ausweisen müssen und was in regelmässigen Audits auch kontrolliert wird. Da reicht es leider nicht auszuweisen, dass man irgendwo von Amazon vielleicht noch eine budget SSD her bekommt. Ich bezweifle nicht, dass man mit CEPH auch sehr performante und hochverfügbare Infras hin bekommt und auch entsprechende Hardware mit Support drunter stellen kann. Mir erschliesst dann aber der Sinn davon nicht. Meine Anfrage bezog sich eigentlich darauf, ob mit unserer vorhandenen Infra ein Umstieg auf Proxmox Sinn macht oder nicht. Wenn CEPH die einzige Bulletproof Lösung ist, dann vermutlich eher nicht.

 

[itNGO]

Wir werden dieses Jahr unser bestehendes Hyper-V Datacenter (2 Sites, >700VMs) ersetzen. Der ursprüngliche Plan, auf VMWare zu wechseln, ist vorerst leider auf Eis gelegt. Wir evaluieren daher Alternativen, welche allefalls interessant sein könnten. Darunter Proxmox.
Ich möchte nun einen PoC durchführen und Proxmox gegen Hyper-V vergleichen. Dazu habe ich einige Fragen zu den Best Practices, wenn man Proxmox mit Enterprise Komponenten betreiben möchte. Leider habe ich auf Anhieb im Forum vor allem Hinweise für das Setup in Homelabs gefunden.

- Wir setzen All-Flash Unified Storage ein. Sie können iSCSI, NFS oder RoCE und werden wahlweise mit 25- oder 100Gbit an die Hosts angebunden. Was empfiehlt sich hinsichtlich Stabilität und Performance im Zusammenspiel mit Proxmox Cluster, bzw. was ist das Equivalent zu VMFS in VMWare oder CSV in Hyper-V?
- Falls man SAN-Storage/iSCSI verwendet, welches Dateisystem sollte man für die Datastores benutzen?
- Falls man NAS-Storage/NFS verwendet, welche NFS Version wird empfohlen? Wird NFS-Multipathing unterstützt, oder sollte man via einem LACP Redundanz herstellen?

Gibt es hier Leute, die grössere Datacenter mit Proxmox betreiben und dies auch empfehlen können?

Lass dich vorab kostenlos von einer Consulting-Firma beraten und dir ein Datacenter zeigen.... ich denke dann klärt sich vieles und die tendenz wird sich ganz stark richtung Proxmox verschieben.... VMWARE hat grad extrem politische Probleme dank Broadcom... da wird man aktuell kaum glücklich...

Allerdings wäre auch die Frage zu klären was gegen ein aktuelles Hyperv 2022 spricht. Die Migration wäre sicher um einiges "einfacher"....

 

[sb-jw]

Wenn CEPH die einzige Bulletproof Lösung ist, dann vermutlich eher nicht.

Das ist grundsätzlich erst mal nicht der Fall, es ist nur die Lösung die Open Source ist und am besten im Proxmox VE integriert ist. Diese lässt sich eben direkt über die GUI installieren und auch einrichten, gänzlich ohne weitere Erfahrung und Ahnung davon. Dennoch können auch Profis den Storage weiterhin so verwalten wie gewünscht.

Meine Anfrage bezog sich eigentlich darauf, ob mit unserer vorhandenen Infra ein Umstieg auf Proxmox Sinn macht oder nicht.

Ich wüsste erst mal nicht was dagegen spricht. Allerdings bin ich bei iSCSI auch raus, das ist für mich etwas, was man heute nicht mehr braucht und nicht mehr verwenden sollte (ich bin halt ein absoluter CEPH Fanboy und da läuft das halt über andere Protokolle).
In Abhängigkeit davon, wie der Storage per NFS angebunden ist, solltest du auch das Netzwerk wählen. Wenn du es direkt anbinden willst, dann natürlich kein LACP, wenn du unabhängige Switches hast die auch nicht miteinander verbunden sind, dann ebenfalls kein LACP. Wenn du Switches mit MLAG hast würde ich ein LACP machen.

Aber sowohl bei iSCSI als auch NFS bin ich jetzt nicht der Experte, ich verwende weder das eine noch das andere, bei mir ist alles für CEPH geweicht und ich fahre damit seit Jahren ohne Ausfälle oder Probleme. Ich würde meinen CEPH nicht mehr hergeben, da geht alles via Ethernet, da brauche ich keine speziellen Controller, LWL Kabel oder Switches. Letztlich ist es natürlich auch Geschmackssache, manchmal hat es auch was mit dem Willen der Weiterentwicklung zu tun.

Da reicht es leider nicht auszuweisen, dass man irgendwo von Amazon vielleicht noch eine budget SSD her bekommt.

Ich rede nicht von Budget, Consumer Zeug solltest du auch hier nicht verbauen. Es ist einfach nur der Unterschied, dass ich eine PM883 einfach direkt mit Samsung Branding kaufen kann für den Bruchteil den Huawei für die gleiche verlangen würde.

Sie sind absolut bulletproof und wir kennen und bestens damit aus, haben fixe Supportverträge und replacement Garantien, was wir gegenüber unseren Kunden, die ihre Umgebungen auf unserer Infra betreiben, auch ausweisen müssen und was in regelmässigen Audits auch kontrolliert wird.

Da ich im Bereich ISO 27001 und BSI IT-Grundschutz unterwegs bin, kann ich dir zumindest sagen, dass du diese Anforderungen auch ohne weiteres mit CEPH und Proxmox VE abdecken kannst. Du kannst Support Subscription direkt von Proxmox beziehen und damit das Enterprise Repo nutzen, dazu gibt es einige Partner die dir den Support auch entsprechend anbieten. Die Hardware lässt du dann am besten direkt über Dell oder HP laufen - schon hast du alles entsprechend Vertrags- und Normkonform für deine Kunden nachweisbar in der Hand.

 

[Falk R.]

Wir werden dieses Jahr unser bestehendes Hyper-V Datacenter (2 Sites, >700VMs) ersetzen. Der ursprüngliche Plan, auf VMWare zu wechseln, ist vorerst leider auf Eis gelegt. Wir evaluieren daher Alternativen, welche allefalls interessant sein könnten. Darunter Proxmox.
Ich möchte nun einen PoC durchführen und Proxmox gegen Hyper-V vergleichen. Dazu habe ich einige Fragen zu den Best Practices, wenn man Proxmox mit Enterprise Komponenten betreiben möchte. Leider habe ich auf Anhieb im Forum vor allem Hinweise für das Setup in Homelabs gefunden.

Du kannst die Server genau so sizen wie auch bei VMware, HyperV muss man ja das CSV-Netzwerk noch extra betrachten beim Sizing.

- Wir setzen All-Flash Unified Storage ein. Sie können iSCSI, NFS oder RoCE und werden wahlweise mit 25- oder 100Gbit an die Hosts angebunden. Was empfiehlt sich hinsichtlich Stabilität und Performance im Zusammenspiel mit Proxmox Cluster, bzw. was ist das Equivalent zu VMFS in VMWare oder CSV in Hyper-V?

Dorados habe ich bisher nur mit VMware eingesetzt und da auch mit 100GBit RoCE.
Du kannst deine Namespaces auch per NVMeoF an Proxmox geben wenn gewünscht.

- Falls man SAN-Storage/iSCSI verwendet, welches Dateisystem sollte man für die Datastores benutzen?

Gar kein Dateisystem. VMware und HyperV arbeiten Filesystem Centric, Proxmox arbeitet Block Centric. Es gibt Leute die (weil gewohnt von VMware) das ganze mit ocfs versucht haben, aber bei Updates immer wieder in Fehler laufen. Davon rate ich dir ab, wenn du das Produktiv betreiben möchtest.
In der Regel habe ich Storages bei Proxmox immer mit LVM versehen, das läuft stabil und wenn du keine besonderen Anforderungen hast läuft das super.
Meistens sogar Performanter als vorher, da man kein extra Dateisystem dazwischen hat.

- Falls man NAS-Storage/NFS verwendet, welche NFS Version wird empfohlen? Wird NFS-Multipathing unterstützt, oder sollte man via einem LACP Redundanz herstellen?

NAS geht natürlich auch gut und Huawei kann das auch gut, für echtes Multipathing benötigt man NFS4.

Gibt es hier Leute, die grössere Datacenter mit Proxmox betreiben und dies auch empfehlen können?

Ich betreue als Freiberufler Kunden von 15-700 VMs mit Proxmox, bei vSphere auch mit deutlich mehr VMs.

Mein Rat aus Investitionsschutzgründen, die Server so sizen, dass du dein Storage gut anbinden kannst, aber genügend Steckplatzreserven hast um später auf Ceph wechseln zu können.

 

[Falk R.]

@sb-jw Da du ja von solchen Storages und den Storageprotokollen nicht so viel Erfahrung hast, mal nicht ganz so doll auf die Meinungshupe drücken. Klar ist Ceph besser integriert, aber ich sehe solche Anforderungen öfters und da muss man etwas offener ran gehen. Schließlich geht es hier ja um Open Source, also auch Open Mind.

 

[sb-jw]

@Falk R. Nehme bitte zur Kenntnis, dass ich deinen reinen Kritikpost als unangemessen und teils diffamierend empfinde.

Was dabei diffamierend ist? Du machst aus meinen Aussagen "ich bin kein Experte" und "ich nutze es nicht mehr" ein "ich habe wenig Erfahrung im Thema Storage und deren Protokolle" und hebst es sogar mit einem zusätzlichen Post hervor.

 

[VoIP-Ninja]

@sb-jw ich kenne da noch jmd. der so Statements raushaut:

Entschuldige bitte, aber mir scheint, dass du nicht viel Wissen über Netzwerke in einem Rechenzentrum hast, weshalb du hier einfach viele unterschiedliche Dinge wirr zusammenwürfelst.

 

[Falk R.]

Ich schreibe ja nur, nicht so viel Erfahrung. Jeder hat irgendwo Wissensgrenzen und keiner kennt sich mit allen Storages aus. Vor allem gibt es wenige Leute mit Praktischer Erfahrung im NVMeoF Umfeld. Ich möchte einfach gern alle Leute abholen, egal was die bisher einsetzen.

 

[Falk R.]

Wir werden dieses Jahr unser bestehendes Hyper-V Datacenter (2 Sites, >700VMs) ersetzen. Der ursprüngliche Plan, auf VMWare zu wechseln, ist vorerst leider auf Eis gelegt. Wir evaluieren daher Alternativen, welche allefalls interessant sein könnten. Darunter Proxmox.
Ich möchte nun einen PoC durchführen und Proxmox gegen Hyper-V vergleichen. Dazu habe ich einige Fragen zu den Best Practices, wenn man Proxmox mit Enterprise Komponenten betreiben möchte. Leider habe ich auf Anhieb im Forum vor allem Hinweise für das Setup in Homelabs gefunden.

- Wir setzen All-Flash Unified Storage ein. Sie können iSCSI, NFS oder RoCE und werden wahlweise mit 25- oder 100Gbit an die Hosts angebunden. Was empfiehlt sich hinsichtlich Stabilität und Performance im Zusammenspiel mit Proxmox Cluster, bzw. was ist das Equivalent zu VMFS in VMWare oder CSV in Hyper-V?
- Falls man SAN-Storage/iSCSI verwendet, welches Dateisystem sollte man für die Datastores benutzen?
- Falls man NAS-Storage/NFS verwendet, welche NFS Version wird empfohlen? Wird NFS-Multipathing unterstützt, oder sollte man via einem LACP Redundanz herstellen?

Gibt es hier Leute, die grössere Datacenter mit Proxmox betreiben und dies auch empfehlen können?

Darf ich mal fragen wie ihr das Storage an die HyperV Hosts angebunden habt?

 

[dasfliege]

Ohä, ich hoffe ich habe nicht grade ein Glaubenskrieg losgetreten

Darf ich mal fragen wie ihr das Storage an die HyperV Hosts angebunden habt?

Wir betreuen sowohl Kunden mit on-premise Infrastrukturen, als auch hosted Umgebungen in unserem eigenen Datacenter. Bei den Kunden haben wir vorwiegend VMWare mit 2x25Gbit NFS4 Anbindung an NetApp oder iSCSI an Nimble Storage. In unserem Datacenter haben wir aktuell Dorados mit 2x 10Gbit iSCSI Multipath an die Hyper-V Hosts, aber das wird wie gesagt jetzt neu konzipiert/gebaut.

Dorados habe ich bisher nur mit VMware eingesetzt und da auch mit 100GBit RoCE.
Du kannst deine Namespaces auch per NVMeoF an Proxmox geben wenn gewünscht.

NAS geht natürlich auch gut und Huawei kann das auch gut, für echtes Multipathing benötigt man NFS4.

Was würdest du empfehlen? RoCE werden wir vermutlich nicht machen, solange uns nicht alle Hard- und Software Lieferanten garantieren können, dass das in unserer Konstellation einwandfrei läuft. Mich interessieren daher primär Erfahrungen mit NFS4 und iSCSI im Zusammenhang mit Proxmox. Auf VMWare machen wir die Entscheidung jeweils abhängig vom darunterliegenden Storage. Bei Hyper-V ist iSCSI gesetzt. Bei Proxmox haben wir keine Erfahrung.

Mein Rat aus Investitionsschutzgründen, die Server so sizen, dass du dein Storage gut anbinden kannst, aber genügend Steckplatzreserven hast um später auf Ceph wechseln zu können.

Für unseren Anwendungsfall, sehe ich nicht wirklich einen Vorteil im Einsatz von CEPH. Aber grundsätzlich wird alles so gesized, dass in Zukunft alle Optionen offen sind, wenn dann vielleicht auch etwas klarer ist, was mit VMWare weiter geht.

Ich muss vielleicht noch ergänzen, dass wir dedizierte Object-Storage / S3 Appliances einsetzen. Primär für Backupdaten mit Object-Lock. Diese Daten auf der selben Technologie / Storage zu haben wie die primären Daten, macht schon rein aus Compliancegründen null Sinn. Auch die paar wenigen klassischen CIFS/SMB Fileserver, die wir noch betreiben, verschwinden je länger je mehr und die Daten werden zunehmend auf Lösungen wie MS Teams gehortet. Insofern ist der Multi-Protokoll Ansatz von CEPH für uns nicht wirklich interessant.

 

[Falk R.]

Ohä, ich hoffe ich habe nicht grade ein Glaubenskrieg losgetreten

Den gab es doch schon immer.

Wir betreuen sowohl Kunden mit on-premise Infrastrukturen, als auch hosted Umgebungen in unserem eigenen Datacenter. Bei den Kunden haben wir vorwiegend VMWare mit 2x25Gbit NFS4 Anbindung an NetApp oder iSCSI an Nimble Storage. In unserem Datacenter haben wir aktuell Dorados mit 2x 10Gbit iSCSI Multipath an die Hyper-V Hosts, aber das wird wie gesagt jetzt neu konzipiert/gebaut.

Was würdest du empfehlen? RoCE werden wir vermutlich nicht machen, solange uns nicht alle Hard- und Software Lieferanten garantieren können, dass das in unserer Konstellation einwandfrei läuft. Mich interessieren daher primär Erfahrungen mit NFS4 und iSCSI im Zusammenhang mit Proxmox. Auf VMWare machen wir die Entscheidung jeweils abhängig vom darunterliegenden Storage. Bei Hyper-V ist iSCSI gesetzt. Bei Proxmox haben wir keine Erfahrung.

Bei RoCE musst du natürlich auch auf die Switchinfrastruktur aufpassen, ob alle DCB unterstützen und PFC Konfigurieren macht auch nicht jeder Netzwerker mit Links.
Vom Featureset würde ich wie bei VMware auf NFS setzen, da könnt ihr auch mega Easy von VMware zu Proxmox migrieren. Du kannst die VMDK Dateien einfach an die neuen Proxmox VMs anhängen.
Mit Protokollen wie iSCSI oder NVMeoF hast du stärkere Limitierungen, weil es kein natives Clusterfilesystem gibt. VMFS ist da schon richtig gut und nur dafür entwickelt, Microsoft hat sich mit dem CSV Overlay über den Dateisystemen einen Workaround gebaut.

Mit den klassischen Storages würde ich vorerst bei NFS bleiben.

Für unseren Anwendungsfall, sehe ich nicht wirklich einen Vorteil im Einsatz von CEPH. Aber grundsätzlich wird alles so gesized, dass in Zukunft alle Optionen offen sind, wenn dann vielleicht auch etwas klarer ist, was mit VMWare weiter geht.

Ceph hat den großen Vorteil, dass es extrem gut in die Breite Skaliert, um so Mehr Nodes und Disks du hinzufügst, um so schneller wird das auch und wenn viele Verbraucher vorhanden sind (VMs) skaliert das so richtig gut. Der Ceph Referenzcluster steht in der Schweiz beim CERN und hat irgendwas um die 1000 Nodes. Da kommen wir mit unserer Virtualisierung niemals in solche Regionen.
Außerdem ist Ceph auf Datenkonsistenz und Verfügbarkeit getrimmt.

 

[dasfliege]

Bei RoCE musst du natürlich auch auf die Switchinfrastruktur aufpassen, ob alle DCB unterstützen und PFC Konfigurieren macht auch nicht jeder Netzwerker mit Links.

Ja das mit dem Netzwerk ist klar. Wenn wir mit VMWare gebaut hätten, dann hätten wir auch RoCE fähige Switches eingekauft. Nach aktuellem Stand der Dinge, sehen wir aber vermutlich davon ab.

Mit Protokollen wie iSCSI oder NVMeoF hast du stärkere Limitierungen, weil es kein natives Clusterfilesystem gibt. VMFS ist da schon richtig gut und nur dafür entwickelt, Microsoft hat sich mit dem CSV Overlay über den Dateisystemen einen Workaround gebaut.

Kannst du in einem Satz erklären, wie das Clustering über iSCSI / LVM läuft? Schätze schlussendlich wird es ähnlich sein wie bei Hyper-V / CSV, wo ein Host der Owner ist und die anderen redirected werden? Danke für den Hinweis, dass in unserem Szenario wohl NFS die bessere Wahl ist.

Ceph hat den großen Vorteil, dass es extrem gut in die Breite Skaliert, um so Mehr Nodes und Disks du hinzufügst, um so schneller wird das auch und wenn viele Verbraucher vorhanden sind (VMs) skaliert das so richtig gut. Der Ceph Referenzcluster steht in der Schweiz beim CERN und hat irgendwas um die 1000 Nodes. Da kommen wir mit unserer Virtualisierung niemals in solche Regionen.
Außerdem ist Ceph auf Datenkonsistenz und Verfügbarkeit getrimmt.

Dass das skalierbar ist und performant und sicher sein kann, macht durchaus Sinn. Das einzige was ich nicht verstehen kann, ist dass es hier als the-way-to-go für sämtliche Szenarien propagiert wird. Ich schätze die Komplexität, angesichts der involvierten Komponenten, als sehr viel höher ein, als bei einem klassischen Storage-Ansatz. Gut möglich, dass man es initial relativ easy einrichten kann und es auch performt. Aber was, wenn einem das Ding trotzdem mal um die Ohren fliegt oder man sonstige Probleme damit hat? Wenn man 0 Know-how in den eigenen Reihen hat, gestaltet sich die Problemsuche dann wohl eher kompliziert. Ausserdem haben wir keine Anforderung an horizontale Skalierung. Wir sind (wie das CERN ) auch in der Schweiz lokalisiert und da ist der Wachstum relativ kalkulierbar
Der Ansatz bei CEPH basierten Cluster ist gemäss meinem Verständnis ähnlich wie bei Nutanix oder anderen HCI basierten Varianten, wo ein Node normalerweise Compute und Storage enthält?

 

[Falk R.]

Ja das mit dem Netzwerk ist klar. Wenn wir mit VMWare gebaut hätten, dann hätten wir auch RoCE fähige Switches eingekauft. Nach aktuellem Stand der Dinge, sehen wir aber vermutlich davon ab.

Kannst du in einem Satz erklären, wie das Clustering über iSCSI / LVM läuft? Schätze schlussendlich wird es ähnlich sein wie bei Hyper-V / CSV, wo ein Host der Owner ist und die anderen redirected werden? Danke für den Hinweis, dass in unserem Szenario wohl NFS die bessere Wahl ist.

Wenn du LVM auf iSCSI nutzt, ist das so ähnlich wie die Partitionierung einer einfachen Disk im Linux.
Du hast da dein Physisches Gerät (iSCSI Disk) und da werdn Logische Volumes draus geschnitten und den VMs als Disk gegeben. Z.B. hat dann Block 1-200 die VM1 und Block 201-300 die VM2 und kommen sich so nie in die Quere, auch wenn die auf verschiedenen Hosts liegen.
Bei LVM kannst du keine Snapshots machen, was ich bei meinen Kunden dann zusätzlichen inkrementellen Backups umschiffe.
Bei NFS kannst du nativ Snapshots fahren und ist etwas Eingängiger für die meisten Leute. Bei iSCSI muss man ja auch multipath auf der CLI immer im Blick haben.

Dass das skalierbar ist und performant und sicher sein kann, macht durchaus Sinn. Das einzige was ich nicht verstehen kann, ist dass es hier als the-way-to-go für sämtliche Szenarien propagiert wird. Ich schätze die Komplexität, angesichts der involvierten Komponenten, als sehr viel höher ein, als bei einem klassischen Storage-Ansatz. Gut möglich, dass man es initial relativ easy einrichten kann und es auch performt. Aber was, wenn einem das Ding trotzdem mal um die Ohren fliegt oder man sonstige Probleme damit hat? Wenn man 0 Know-how in den eigenen Reihen hat, gestaltet sich die Problemsuche dann wohl eher kompliziert. Ausserdem haben wir keine Anforderung an horizontale Skalierung. Wir sind (wie das CERN ) auch in der Schweiz lokalisiert und da ist der Wachstum relativ kalkulierbar
Der Ansatz bei CEPH basierten Cluster ist gemäss meinem Verständnis ähnlich wie bei Nutanix oder anderen HCI basierten Varianten, wo ein Node normalerweise Compute und Storage enthält?

Ja das ist HCI, mit Compute und Storage in den gelichen Nodes, man kann es aber auch trennen, wenn man das möchte.
Der Vorteil von Ceph ist, dass es auch extrem flexibel ist, du kannst auch jederzeit einzelne Disks hinzufügen oder entfernen.
Eigentlich läuft das extrem stabil und ist selbstheilend, wenn es wirklich mal ein richtiges Problem gibt, dafür kaufst du dir doch die Subscription von Proxmox.
Der Support von den Kollegen aus Wien ist echt top, Die sind immer schneller als angegeben und helfen auch weit über ihre eigene Software hinaus.

 

[dasfliege]

Wenn du LVM auf iSCSI nutzt, ist das so ähnlich wie die Partitionierung einer einfachen Disk im Linux.
Du hast da dein Physisches Gerät (iSCSI Disk) und da werdn Logische Volumes draus geschnitten und den VMs als Disk gegeben. Z.B. hat dann Block 1-200 die VM1 und Block 201-300 die VM2 und kommen sich so nie in die Quere, auch wenn die auf verschiedenen Hosts liegen.
Bei LVM kannst du keine Snapshots machen, was ich bei meinen Kunden dann zusätzlichen inkrementellen Backups umschiffe.
Bei NFS kannst du nativ Snapshots fahren und ist etwas Eingängiger für die meisten Leute. Bei iSCSI muss man ja auch multipath auf der CLI immer im Blick haben.

Vielen Dank für die Erklärung. Snapshots sind bei uns ziemlich wichtig, da die Jungs vom OPS vor irgendwelchen Updates gerne Snapshots triggern. Somit ein weiterer Punkt für NFS vs iSCSI. Wie sieht es aus mit NFS4.1 Multipathing Support? Bei VMWare/NetApp wurde lange davon abgeraten, weil es noch nicht so bulletproof war. Mittlerweile setzen wir das aber seit einer ganzen Weile ohne Problem ein.

Ja das ist HCI, mit Compute und Storage in den gelichen Nodes, man kann es aber auch trennen, wenn man das möchte.
Der Vorteil von Ceph ist, dass es auch extrem flexibel ist, du kannst auch jederzeit einzelne Disks hinzufügen oder entfernen.
Eigentlich läuft das extrem stabil und ist selbstheilend, wenn es wirklich mal ein richtiges Problem gibt, dafür kaufst du dir doch die Subscription von Proxmox.
Der Support von den Kollegen aus Wien ist echt top, Die sind immer schneller als angegeben und helfen auch weit über ihre eigene Software hinaus.

Danke für die Info. Support aus Wien wäre ein weiterer Pluspunkt für uns gegenüber XCP-ng oder auch Microsoft und VMWare. Wir haben zwar Microsoft premier support, aber die Hilfestellungen waren in der Vergangenheit ziemlich Bescheiden. Insbesondere wenn es etwas über ihren Tellerrand hinaus geht. Solange es keine Veeam Unterstützung für Proxmox gibt, werden wir sowieso nicht unsere gesamte Umgebung darauf aufbauen, da Veeam bei uns sehr zief verankert ist. Aber ich habe nun zumindest mal die wichtigen Informationen beisammen, damit wir mal einen PoC fahren können. Besten Dank!

 

[Falk R.]

Vielen Dank für die Erklärung. Snapshots sind bei uns ziemlich wichtig, da die Jungs vom OPS vor irgendwelchen Updates gerne Snapshots triggern. Somit ein weiterer Punkt für NFS vs iSCSI. Wie sieht es aus mit NFS4.1 Multipathing Support? Bei VMWare/NetApp wurde lange davon abgeraten, weil es noch nicht so bulletproof war. Mittlerweile setzen wir das aber seit einer ganzen Weile ohne Problem ein.

Auch bei Proxmox gibt es keine offizielle Anleitung, da es keine integrierte Lösung ist und nur die fest eingebauten Feature offiziell supportet werden. Funktionieren tut es aber anscheinend schon eine Weile. Ich habe mal einen Thread ausgegraben:
https://forum.proxmox.com/threads/nfs-multipath-or-at-least-failover.69493/

Danke für die Info. Support aus Wien wäre ein weiterer Pluspunkt für uns gegenüber XCP-ng

XCP-ng ist meiner Meinung nach tot. Der Kernel ziemlich alt und auch die verwendeten Technologien auch. Bis auf Citrix haben sich alle von Xen verabschiedet (auch SUSE ), also setzte ich lieber auf KVM, wie auch einige Kommerzielle Produkte (z.B. Nutanix).

oder auch Microsoft und VMWare. Wir haben zwar Microsoft premier support, aber die Hilfestellungen waren in der Vergangenheit ziemlich Bescheiden.

Ich arbeite seit 2006 mit VMware und der Support hat in den letzten Jahren auch nachgelassen. Bei MS wird er eher besser, aber das ist ja auch nicht schwer.

Insbesondere wenn es etwas über ihren Tellerrand hinaus geht. Solange es keine Veeam Unterstützung für Proxmox gibt, werden wir sowieso nicht unsere gesamte Umgebung darauf aufbauen, da Veeam bei uns sehr zief verankert ist. Aber ich habe nun zumindest mal die wichtigen Informationen beisammen, damit wir mal einen PoC fahren können. Besten Dank!

Bei Veeam sind wir mal alle gespannt ob die eine vernünftige Integration bringen oder das so schlecht hinbasteln wie bei RHEV.