Nachfrage für Sizing und Umsetzung

[W3isserWolf]

Hallo zusammen,
wir planen aktuell von VMWare weg zu gehen und da ist uns Proxmox in den Sinn gekommen.
Leider werden wir bei ein Paar themen nicht schlauer und haben deshalb gehofft vielleicht hier im Forum Unterstützung zu bekommen.

Zu unserem aktuellen Setup:
2 Rechenzentren mit Glasfaser verbunden
Je Seite:
3 Server mit:

CPU	Intel(R) Xeon(R) Gold 6246R CPU @ 3.40GHz (16c/32t)
RAM	766,62GB
Festplatte	Verbunden an Storage Server
Netzwerk	2 Karten mit je 2x10GBit/s

(Auslastung der Server ist ca 40% damit die auch einen ausgefallenen Server / eine komplette Seite puffern können)
Wir benötigen nicht mehr Ressourcen aber Festplattenkapazität müssten wir auf insgesamt 110TB kommen.

Unsere Fragen:
Wie baut man am besten mit ?Ceph? den storage auf um Hochverfügbar zu sein.
Sollte man besser auf 25 oder sogar 100gbit/s gehen? Die Switche müssen eh bald neu.
Wie sollte das Cluster am besten aussehen?
Ceph kann ja kein Storage Server anbinden, also muss der Storage ja in die Server. Wie soll man das am besten aufteilen?
Ein Großes Ceph oder lieber mehrere kleine?

Wenn euch noch was wichtiges einfällt, erwähnt es gerne oder wenn ich wichtige Infos vergessen habe kann ich die auch gerne nachreichen

Wir wollen erstmal nur evaluieren bevor wir an Platin Partner ran gehen.

Grüße
W3isserWolf

 

[Falk R.]

Hallo zusammen,
wir planen aktuell von VMWare weg zu gehen und da ist uns Proxmox in den Sinn gekommen.
Leider werden wir bei ein Paar themen nicht schlauer und haben deshalb gehofft vielleicht hier im Forum Unterstützung zu bekommen.

Zu unserem aktuellen Setup:
2 Rechenzentren mit Glasfaser verbunden
Je Seite:
3 Server mit:

CPU	Intel(R) Xeon(R) Gold 6246R CPU @ 3.40GHz (16c/32t)
RAM	766,62GB
Festplatte	Verbunden an Storage Server
Netzwerk	2 Karten mit je 2x10GBit/s

(Auslastung der Server ist ca 40% damit die auch einen ausgefallenen Server / eine komplette Seite puffern können)
Wir benötigen nicht mehr Ressourcen aber Festplattenkapazität müssten wir auf insgesamt 110TB kommen.

Unsere Fragen:
Wie baut man am besten mit ?Ceph? den storage auf um Hochverfügbar zu sein.
Sollte man besser auf 25 oder sogar 100gbit/s gehen? Die Switche müssen eh bald neu.
Wie sollte das Cluster am besten aussehen?
Ceph kann ja kein Storage Server anbinden, also muss der Storage ja in die Server. Wie soll man das am besten aufteilen?
Ein Großes Ceph oder lieber mehrere kleine?

Wenn euch noch was wichtiges einfällt, erwähnt es gerne oder wenn ich wichtige Infos vergessen habe kann ich die auch gerne nachreichen

Wir wollen erstmal nur evaluieren bevor wir an Platin Partner ran gehen.

Grüße
W3isserWolf

Hi, erst einmal bitte mehr zu deinem derzeitigen Setup.
Was für Storageserver sind das und wie sind die ausgestattet?
Ceph ist vermutlich eine gute Idee bei euch, aber dann bräuchtest du auch einen dritten Raum (oder Netzwerkverteiler) um ein Quorum aufzubauen.

 

[W3isserWolf]

Hi, erst einmal bitte mehr zu deinem derzeitigen Setup.
Was für Storageserver sind das und wie sind die ausgestattet?
Ceph ist vermutlich eine gute Idee bei euch, aber dann bräuchtest du auch einen dritten Raum (oder Netzwerkverteiler) um ein Quorum aufzubauen.

Danke für die Antwort.

Wir haben Dell EMC SC5020 im Einsatz aber diese sind auch bereits 4 Jahre und kommen ins 5te sind somit eigentlich auch raus.
Angebunden per FibreChannel an die aktuellen VMWare Hosts.

Bennötigst du genauere Infos?

Wir haben auf jeden Fall 141 VMs laufen wovon 2 MSSQL Cluster sind wo im Falle des Schwenks die Festplatten an den anderen Server gehangen werden.

Wir hätten noch einen Server in einer anderen Niederlassung (Macht dort einen lokalen Fileserver). Diesen könnte man dann ja vermutlich auch als Quorum verwenden oder? Wir würden den Server dann eh auf Proxmox auch bauen, aber das ist ja eine recht simple installation.

 

[Falk R.]

Quorum (für Ceph) nicht über WAN machen. Wir brauchen eine vernünftige Latenz.
Aus den Compellent können wir vermutlich nicht viel rausholen, außer da sind große SSDs drin, die man gern weiter nutzen möchte.
Das mit den SQL und Festplatten umhängen klingt Strange. Das geht garantiert eleganter.
Die Server mit den Xeon Scalable 2te Generation sind ja auch nicht neu. Was für Disk Slots haben die denn und wieviele? Bevor man überhaupt an Ceph denken kann, muss man mal schauen ob man genügend Disks verbauen kann.

 

[W3isserWolf]

Danke für die Antwort,
ich hätte mich klarer ausdrücken müssen.
Wir müssen aus Versicherungstechnischen Gründen komplett neue Hardware beschaffen, die aufgelisteten Server dienen nur als anhaltspunkt.
Ich habe mal spaßeshalber ein Server konfiguriert: https://www.thomas-krenn.com/loadproduct?id=y5c40edcc8faecb20&lang=de (ich denke mal Thomas Krenn link ist okay, da proxmox Partner)
Das mit dem MSSQL hatten wir schon paar mal als komisches Thema in der Theorie könnten es auch einfach StorageDevices sein.

Die alte Hardware soll nicht weiterverwendet werden.

 

[Falk R.]

OK, dann ist es ja einfach mit neuer Hardware.
Das Gehäuse ist OK, aber alte Scalable v3 CPUs willst du nicht mehr haben.
Wenn du den Hypervisor wechselst, kannst du auch gern mal die Architektur wechseln und über AMD nachdenken.
Ich würde dann eher zu 4 Nodes tendieren und das ganze mit dedizierten 100G Switches für Ceph bauen.
Ich hab mal ein Beispiel für ein 4 Node Sizing gekickt. Ist vermutlich nicht final aber schon mal eine grobe Orientierung. 4Node
Ich habe da auch mal die aktuellen Zen5 CPU genommen, damit man lange Ruhe hat.

 

[W3isserWolf]

OK, dann ist es ja einfach mit neuer Hardware.
Das Gehäuse ist OK, aber alte Scalable v3 CPUs willst du nicht mehr haben.
Wenn du den Hypervisor wechselst, kannst du auch gern mal die Architektur wechseln und über AMD nachdenken.
Ich würde dann eher zu 4 Nodes tendieren und das ganze mit dedizierten 100G Switches für Ceph bauen.
Ich hab mal ein Beispiel für ein 4 Node Sizing gekickt. Ist vermutlich nicht final aber schon mal eine grobe Orientierung. 4Node
Ich habe da auch mal die aktuellen Zen5 CPU genommen, damit man lange Ruhe hat.

Hallo Falk,
danke für die Antwort.

Wir sind leider für 4 Programmlösungen an Intel gebunden. Ja nervt mich selber aber geht leider nicht anders.
Wir benötigen ja minium 110TB weshalb wir mal hier etwas zusammengestellt haben.

https://www.thomas-krenn.com/loadproduct?id=ye589c6cf1db19f42&lang=de

Ich hätte noch Fragen zu Ceph:
-wie werden die Dateien eigentlich im Ceph abgespeichert/abgeschichert damit man immer Redundante Daten hat?

Beispielsweise wie wäre es wenn uns auf einmal eine Seite offline geht durch was auch immer für einen Grund. Laufen die Server dann auf der anderen seite einfach weiter und die offline VMs fahren dann dort wieder hoch?

Oder was passiert wenn ein Host offline geht, stehen die Daten dann auf den anderen Server direkt zur Verfügung?.

Wir sind halt VMWare gewohnt mit einem Storage dran, da ist das alles reicht selbsterklärend.
Ich bitte um Entschuldigung sollten die Fragen "blöd" klingen.

Und wie würden wir vorgehen müssen wenn wir mehr Speicherplatz benötigen, müssen wir dann 6 Platten kaufen und in jeden Server eine nachrüsten oder wie läuft das dann?

Gruß

 

[Falk R.]

Hallo Falk,
danke für die Antwort.

Wir sind leider für 4 Programmlösungen an Intel gebunden. Ja nervt mich selber aber geht leider nicht anders.
Wir benötigen ja minium 110TB weshalb wir mal hier etwas zusammengestellt haben.

https://www.thomas-krenn.com/loadproduct?id=ye589c6cf1db19f42&lang=de

Was hast du mit der GRaid Karte vor? Für 100TB sind das auch viel zu wenige NVMe.

Ich hätte noch Fragen zu Ceph:
-wie werden die Dateien eigentlich im Ceph abgespeichert/abgeschichert damit man immer Redundante Daten hat?

Ceph Default Einstellung ist 3 Datenkopien (wie bei VMware vSAN). Wenn du ein Zwei Raum Setup haben möchtest, brauchst du 4 Datenkopien, damit du immer noch Datenredundanz hast, wenn ein RZ offline ist.

Beispielsweise wie wäre es wenn uns auf einmal eine Seite offline geht durch was auch immer für einen Grund. Laufen die Server dann auf der anderen seite einfach weiter und die offline VMs fahren dann dort wieder hoch?

Ja ganz normales HA Verhalten wie bei VMware.

Oder was passiert wenn ein Host offline geht, stehen die Daten dann auf den anderen Server direkt zur Verfügung?.

Ist über die Datenreplikation gewährleistet.

Wir sind halt VMWare gewohnt mit einem Storage dran, da ist das alles reicht selbsterklärend.
Ich bitte um Entschuldigung sollten die Fragen "blöd" klingen.

Naja, wenn man sich noch nie mit vSAN oder Ceph beschäftigt hat, ist das halt Neuland.

Und wie würden wir vorgehen müssen wenn wir mehr Speicherplatz benötigen, müssen wir dann 6 Platten kaufen und in jeden Server eine nachrüsten oder wie läuft das dann?

Bei ceph kannst du jederzeit einzelne Disks hinzufügen oder entfernen.

Gruß

 

[W3isserWolf]

Was hast du mit der GRaid Karte vor? Für 100TB sind das auch viel zu wenige NVMe.

War wohl gewohnheit.
Der Server selbst kann ja schon die NVMEs onboard ansprechen.
https://www.thomas-krenn.com/loadproduct?id=y18dad803f3f6c648&lang=de
der sollte jetzt passen. 7 Platten müssten das ja pro Server sein dann.
Ich habe mal ein Ceph Calculator bemüht mit 7 x 15,36TB platten pro Server:

Ceph Default Einstellung ist 3 Datenkopien (wie bei VMware vSAN). Wenn du ein Zwei Raum Setup haben möchtest, brauchst du 4 Datenkopien, damit du immer noch Datenredundanz hast, wenn ein RZ offline ist.

Aber bei 4 Datenkopien wäre es doch aktuell dann so, wenn eine Seite aus ist kann man auch die VMs nicht mehr starten weil die Daten dann nicht mehr sicher sind oder bin ich gerade auf dem falschen weg?
Oder speicher Ceph dann 2 kopien pro seite?

Bei ceph kannst du jederzeit einzelne Disks hinzufügen oder entfernen.

Und wenn ich dann um 15TB erweitern will? Wieviele platten müsste ich wo einstecken?



Und das ganze mit einem Storage abzubilden ist denke ich mal nicht wirklich Sinnvoll bei Proxmox oder?

 

[Falk R.]

War wohl gewohnheit.
Der Server selbst kann ja schon die NVMEs onboard ansprechen.
https://www.thomas-krenn.com/loadproduct?id=y18dad803f3f6c648&lang=de

Ist aber immer noch die alte CPU. Würde ich nicht mehr neu kaufen.

der sollte jetzt passen. 7 Platten müssten das ja pro Server sein dann.
Ich habe mal ein Ceph Calculator bemüht mit 7 x 15,36TB platten pro Server:

Vorsicht, die 15,36TB SSDs haben nur 14TiB Netto.

View attachment 85988

Aber bei 4 Datenkopien wäre es doch aktuell dann so, wenn eine Seite aus ist kann man auch die VMs nicht mehr starten weil die Daten dann nicht mehr sicher sind oder bin ich gerade auf dem falschen weg?
Oder speicher Ceph dann 2 kopien pro seite?

Ja du musst 2 Datacenter konfigurieren und die Daten werden dann korrekt verteilt nach deiner angelegten Regel.
Musst du natürlich auf CLI konfigurieren.

Und wenn ich dann um 15TB erweitern will? Wieviele platten müsste ich wo einstecken?

Wo du möchtest. Theoretisch kannst du überall nachstecken, aber man soll die Nodes schon gleichmäßig bestücken. Wenn du Netto 14TiB mehr möchtest, dann je 2 15,36 TB NVMe pro RZ.

Und das ganze mit einem Storage abzubilden ist denke ich mal nicht wirklich Sinnvoll bei Proxmox oder?

Nicht wirklich außer du hast eine NetApp oder ähnliches mit vernünftigen NFS Support.

 

[Supaman]

Ganz wichtig für CEPH: Du brauchst als Massenspeicher Datacenter SSDs mit echtem PLP, ansonsten geht die Latenz übel in den Keller. Das wird bei der Speichermenge und Redundanz dann auch richtig teuer.

 

[Falk R.]

Ganz wichtig für CEPH: Du brauchst als Massenspeicher Datacenter SSDs mit echtem PLP, ansonsten geht die Latenz übel in den Keller. Das wird bei der Speichermenge und Redundanz dann auch richtig teuer.

Bei den 15 TB NVMe bewegen wir uns Ausschließlich im Enterprise Segement. Falls du Consumer SSDs in den Größen kennst, dann mal her damit.

 

[W3isserWolf]

Vorsicht, die 15,36TB SSDs haben nur 14TiB Netto.

Meiner Berechnung zu folge müssten wir damit ja bei 122 TiB landen was unsere Anforderung erfüllt (Wenn ich alle mit 15 TB addiere kann ich ja das Ergebnis dann in TiB umrechnen)

Ist aber immer noch die alte CPU. Würde ich nicht mehr neu kaufen.

Ist mir bewusst aber die neuen CPUs brauchen halt den Takt und die Serverwollen wir am besten bei einem Proxmox zertifizierten Händer kaufen, wenn du ein anderen Vorschlag mit gleicher Leistung/Vielleicht sogar besserer Leistung kennst gerne her damit (Muss kein Dual CPU Server sein nur die Kerne und der Speed müssen halt passen)

Wo du möchtest. Theoretisch kannst du überall nachstecken, aber man soll die Nodes schon gleichmäßig bestücken. Wenn du Netto 14TiB mehr möchtest, dann je 2 15,36 TB NVMe pro RZ.

Alles klar, die 110 usable TB sind bereits mit Wachstum berechnet. Aber dann kann ich meinem Chef dazu schonmal ne Antwort geben, danke dafür

Nicht wirklich außer du hast eine NetApp oder ähnliches mit vernünftigen NFS Support.

Okay, also Ceph auf den Hosts, verstanden.

Ganz wichtig für CEPH: Du brauchst als Massenspeicher Datacenter SSDs mit echtem PLP, ansonsten geht die Latenz übel in den Keller. Das wird bei der Speichermenge und Redundanz dann auch richtig teuer.

Die Kioxias aus dem gelisteten Setup haben ja PLP und Kioxia ist ja auch keine unbekannte Firma. Zumal unsere RZ mit USVn und Generator abgesichert sind. Das Setup kann 5 Tage laufen bis man über den Shutdown nachdenken muss. Von daher soweit sicher.

Bei den 15 TB NVMe bewegen wir uns Ausschließlich im Enterprise Segement. Falls du Consumer SSDs in den Größen kennst, dann mal her damit.

Das stimmt, wir sind Dell Speicherpreise gewöhnt, da kann man für 6 Platten fast das komplette RZ umbauen Zumal die Kioxia ja enterprise NVMEs sind.

@Falk R. was sagt denn die Erfahrung? Reichen 4x25Gbit/s damit es vernünfitg läuft oder sollen wir lieber auf 100Gbit/s gehen? Wir wollen halt nur kein Geld aus dem Fenster schmeißen. Die Wirtschaftliche Lage ist in DE ja aktuell... nennen wir es mal mau.

 

[FlorianF]

Wir haben für einen Kunden eine ähnliche Konfiguration realisiert:
- Wechsel von VMware ESX
- Ceph Cluster
- 5x Intel Dual Socket Systeme, mit je 10x NVMe, je 3x 25 GbE Quadport
- Direktverkabelt (ohne Switch um Kosten zu sparen / einfachere Infrastruktur)

Kunde ist mega happy. Ich kann auch ein Aufzeichnung einer Session mit dem IT Admin teilen. Bei Interesse gern melden, kann gerne auch den Kontakt zu unseren Techies herstellen.

Disclaimer: ich arbeite für Fujitsu / Fsas

 

[Falk R.]

Ist mir bewusst aber die neuen CPUs brauchen halt den Takt und die Serverwollen wir am besten bei einem Proxmox zertifizierten Händer kaufen, wenn du ein anderen Vorschlag mit gleicher Leistung/Vielleicht sogar besserer Leistung kennst gerne her damit (Muss kein Dual CPU Server sein nur die Kerne und der Speed müssen halt passen)

Zertifizierte Hardware gibt's bei Proxmox nicht, aber natürlich haben die Proxmox Gold Partner, ihre Systeme abgestimmt. Ich empfehle auch nur Sachen, die ich kenne und auch mehrfach in Einsatz bei Kunden habe.
AMD 32Core
Bei den AMD Systemen musst man etwas mehr RAM nehmen wenn man volle Performance möchte, da die 12-Channel Anbindung haben.
Die 32Core CPU ist auch eher noch eine kleine und wenn du mehr Takt oder Kerne brauchst, geht da noch etwas.

Die Kioxias aus dem gelisteten Setup haben ja PLP und Kioxia ist ja auch keine unbekannte Firma. Zumal unsere RZ mit USVn und Generator abgesichert sind. Das Setup kann 5 Tage laufen bis man über den Shutdown nachdenken muss. Von daher soweit sicher.

Die Kioxia habe ich früher auch oft benutzt, aber bei den Huawei bekommst du deutlich mehr Leistung zum günstigeren Preis. Die Huawei NVMe gehen gerade wie warme Semmeln.

@Falk R. was sagt denn die Erfahrung? Reichen 4x25Gbit/s damit es vernünfitg läuft oder sollen wir lieber auf 100Gbit/s gehen? Wir wollen halt nur kein Geld aus dem Fenster schmeißen. Die Wirtschaftliche Lage ist in DE ja aktuell... nennen wir es mal mau.

Wenn es an 3000€ Scheitert, dann geht auch weniger als 100G, aber bei der Menge an Nodes würde ich da nicht sparen.
Diese Switches mit MLAG laufen Super mit Ceph, als reine SAN Switches. https://mikrotik.com/product/crs520_4xs_16xq_rm