HA Proxmox Cluster mit VMs auf separaten Ceph Storage - Was für Hardware wird benötigt

[Maximilian1998]

Hallo liebe Community,

ich schreibe dieses Jahr meine Technikerarbeit in der Informatik. Ich möchte gerne ein High Availability Cluster auf Basis von Proxmox mit einem Ceph Storage aufbauen.
Dabei sollen die Proxmox Server diskless betrieben werden. Die VMs sollen auf einem Ceph Storage liegen. So wie ich das verstanden habe ist nicht die interne Ceph Lösung von Proxmox, sondern ein externes Ceph gemeint. Hier möchte ich jetzt gerne eine Hardwareliste erstellen, damit ich diese zeitnah bestellen kann. Für das high availability Proxmox Cluster benötige ich ja für die drei Nodes insgesamt drei Server, welche identische Hardwarekonfigurationen haben sollen. Reichen mir hier 32 GB Ram? Muss ich sonst noch was beachten?

Beim Ceph Storage benötige ich ebenfalls drei Server?

Ich habe jetzt schon einiges recherchiert und nichts dazu gefunden.
Könnt Ihr mir hier weiterhelfen?
Gibt es Seiten, außer der Doku, welche das übersichtlicher und verständlicher erklären?

Vielen Dank für eure Hilfe!

Gruß
Maximilian

 

[Falk R.]

Also für ein produktives Ceph immer mindestens 3 Nodes.
Standard ist eine Regel von 3 Replikas eingestellt mit Verteilung auf Hostebene. Also für 3 Replikas brauchst du dann auch 3 Nodes.
2 OSDs pro Node ist auch eher ein Minimum, für Produktiv mindestens 3, besser 4 OSDs pro Node.
Wenn das eh kein großer Cluster für Produktiv werden soll, warum machst du dann kein HCI?
Außerdem ist bei Ceph das Netzwerkdesign extrem wichtig,
Im Forum sind auch schon diverse Beispielkonfigurationen zu finden, aber vermutlich nirgendwo ganzheitlich.
Bei Ceph empfehle ich die RedHat Doku, aber manchmal erklärt die SUSE Doku manches anders, was helfen kann bestimmte Sachen besser zu verstehen.

Ich betreibe zuhause als Testumgebung einen 2 Node Ceph Cluster (2 Nodes mit Disk und ein Mini PC als Quorum).
Zum testen und rumspielen ist das OK, weil da keine wichtigen Daten drauf liegen.

 

[wigor]

Hey Maximilian,

wenn es nur ums Konzept (Prüfungsarbeit) geht und da nicht wirklich Last drüber laufen soll, oder vielleicht auch um das "minimale" zu verstehen, habe ich gerade das hier gefunden:

https://blog.berrybase.de/speichercluster-mit-raspberry-pi-und-ceph/

Vielleicht hilft das.

 

[Maximilian1998]

Danke für eure Antworten.
Ich bin nur gerade sehr verwirrt zwecks den Möglichkeiten mit Ceph.

Möglichkeit eins und wahrscheinlich auch best practise:
Das Interne Ceph benutzen
Dann liegt das ganze aber auf den drei Proxmox Nodes verteilt.
Wie kann man hier in Zukunft Speicher erweitern?
Kann man hier z.B. ein Storage verwenden?


Möglichkeit zwei:
Ein externes Ceph Cluster
Dann würde ich auf den drei Proxmox Nodes nur Proxmox installieren
Und die VMs auf dem externen Ceph Cluster ablegen.
Dann hab ich aber doppelt soviel Server, nämlich 6
Wird diese Option überhaupt noch supportet?

Was sagt Ihr dazu?

Gruß
Maximilian

 

[wigor]

Hey,

ich sehe das in etwa so:

Lösung A)
Proxmox HA: mindestens 2 Promox Nodes und 1 qDevice füs Quorum des Clusters (habe ich noch nie mit gearbeitet).
Ceph: mindestens 3 Nodes.

Lösung B)
Hyperkonvergent (alles in Proxmox): mindesens 3 Nodes (Proxmox inkl. Ceph).

Speicher wird bei Ceph durch Zufügen von OSDs erweitert. Entweder durch weitere "Disks" in bestehende Server/Nodes. Oder durch hinzufügen weiterer Server.
Ideal ist - gerade bei so kleinen Ceph Clustern - eine homogene Ausstattung bzgl. Kapazität der OSD "Disks"

Du schriebst Diskless Proxmox und "separater Ceph Cluster" im Ausgangspost, warum B) dann ausscheidet.

 

[Falk R.]

Also üblicherweise macht man bei kleinen Setups HCI. Extra Storage Nodes kenne ich produktiv nur bei Clustern mit mindestens 2 Stelligen Anzahl von Nodes oder mehrere große Cluster greifen auf das gleiche Ceph zu.
Wenn man einen aktuellen Server nimmt hat man in der Regel 10-12 Diskslots bei 1HE und 20+ bei 2HE.
Wenn ich dann die Butter und Brot NVMe mit 7.68TB nehme, reichen in der Regel 3-5 Stück pro Node. Bei Ceph kann man schön einzeln Disks nachschieben, also eine Erweiterung sollte nicht das Problem sein.
Wenn dir irgendwann CPU und RAM ausgehen kannst du trotzdem reine Workernodes ohne SSDs zu dem Cluster hinzufügen.

Beim Netzwerk kann man mehr Fehler machen, wenn man zu sparsam ist am Anfang. Man kauft ja nicht mal eben neue Netzwerkkarten und Switches wenn man merkt, dass es knapp wird.
Daher mehr Hirnschmalz ins Netzwerk investieren als „kann ich Nodes erweitern“.