Proxmox mit Ceph Voraussetzungen

[Haithabu84]

Hallo,

nachdem ich es aufgegeben habe eine Standalone-Storage-Lösung zu finden und FreeNAS leider nicht zufriedenstellend funktioniert, habe ich mich entschieden weiter Richtung Ceph zu informieren. Die Option das Proxmox Nodes gleichzeitig Ceph-Storages sein können, klingt für mich sehr interessant.

Dazu habe ich eine Frage:

Auf der Wiki-Seite zum Einrichten eines Ceph-Clusters steht unter anderem als Voraussetzung das man identische Server benötigt. Wie weit dürfen diese sich unterscheiden?

Zum Beispiel: Ich habe hier vier Server, auf denen bereits Proxmox läuft. Aber alle vier als Standalone. Diese würde ich gern aber zusammenfassen und zu einem Proxmox/Ceph-Cluster formieren. Alle vier Server haben aber eine unterschiedliche Hardware-Config... Es handelt sich aber bei allen um ordentliche Server-Hardware. Alle haben einen Xeon zwei mit 4 Kernen, die anderen beiden mit 6. Bei drei Server habe ich 16Gb, nur bei einem 32Gb.

Solange ich die VMs gut verteile und keine so dimensionere das diese auf dem schwächsten Server nicht läuft, sollte es doch egal sein, wie der einzelne Server aussieht? Oder?

Würde mich interessieren, ob ich da jetzt noch aufrüsten muss.

Danke im voraus.

Gruß

 

[LnxBil]

Generell kann man immer SSDs für Journaling empfehlen, sonst hast du nicht viel Spaß mit Ceph. Wenn die CPUs alle die gleiche Generation sind sollte es auch keine großen Probleme geben. Meistens ist die CPU-Generation bzw. die CPU-Features nur interessant, wenn du Migration einer VM machen willst. Wenn du z.b. von einer neueren Generation auf eine ältere Generation wechselst und einige CPU-Flags angeschaltet hattest, die es aber auf dem Ziel nicht gibt schmiert dir die VM ab.

Wichtig ist beim "zusammenschalten" des Clusters, dass es am Anfang einen Master gibt und alle weiteren Knoten als Slaves reingehängt werden, d.h. wenn es dort VMs gibt sind die nachher nicht mehr da. Bitte hier also entsprechend die Konfiguration sichern, aber ich nehme an du installierst eh neu, da du ja das Storage neu "formatieren" (also in Ceph reinhängen) musst.

 

[udo]

Wichtig ist beim "zusammenschalten" des Clusters, dass es am Anfang einen Master gibt und alle weiteren Knoten als Slaves reingehängt werden, d.h. wenn es dort VMs gibt sind die nachher nicht mehr da...

Hi,
neuerdings (?) kann man nicht mehr eine Node zum Cluster hinzufügen, wenn sie VMs enthält.

Zum OP: Neben Cores per OSDs benötigst Du auch RAM. 16GB klingt nach recht wenig - zumal wenn noch VMs drauf laufen.
Was für Performance-Anforderungen hast Du denn. Wenn es schnell sein soll ist bei Ceph ohne 10GB-Nics (und SSD) nicht viel zu machen.

Udo

 

[LnxBil]

neuerdings (?) kann man nicht mehr eine Node zum Cluster hinzufügen, wenn sie VMs enthält.

Theoretisch geht das immer, praktisch kann es in die Hose gehen und man muss einige Dinge von Hand (bzw. aus einem Backup) wiederherstellen. Besser ist es wenn man vorher ein Backup macht. Das zumindest steht hier:

https://pve.proxmox.com/wiki/Cluster_Manager#_adding_nodes_to_the_cluster

 

[Haithabu84]

Also geplant ist natürlich die Server nach nach mit mehr Ram auszustatten. Die Server besitzen derzeit nur noch SSDs...

@udo: Was soll das bedeuten... ich brauche pro OSD einen Core... oder wie? Dann hätte ich selbst mit den Vierkerner Xeons vermutlich nichts zu lachen. 10Gb NICs sind vorhanden, in Form von Intel X710-DA2 und entsprechenden DAC-Kabeln... würde ich sogar noch redudant gestalten.

Ich werde morgen nochmal die genauen Bezeichnungen der Prozessoren herausfinden.

@LnxBil Ja richtig, ich würde komplett neu aufsetzen. Proxmox würde ich auf einen Sata-Dom installieren, jeder Server würde zusätzlich zwei 1Tb SSDs (Samsung SM863) bekommen.

 

[wolfgang]

Wichtig ist beim "zusammenschalten" des Clusters, dass es am Anfang einen Master gibt und alle weiteren Knoten als Slaves reingehängt werden, d.h. wenn es dort VMs gibt sind die nachher nicht mehr da.

Es gibt nie einen Master oder Slave.
Aber was schon richtig ist die DB (pmxcfs) wird beim Node, wo der Cluster erstellt (pvecm create) wird nicht überschrieben.
Also Daten bleiben erhalten.
Bei den neu hinzugefügten Node wird die DB von dem Node den man als Node Member angibt kopiert und die alte DB wird ins Backup verschoben. Wenn bei add schon VM am Node sind muss man mit force arbeiten, da sonst die DB nicht kopiert werden kann.
Wenn man jetzt nicht vorher die Guest config gespeichert hat muss man sie aus dem DB Backup extrahieren.

 

[LnxBil]

Es gibt nie einen Master oder Slave.

Ich weiß .. aber wie soll man den "ersten" Knoten nennen, an dem man den Cluster "anlegt"? Hier gibt es klar ein Vokabularproblem :-D

 

[Haithabu84]

Also bei zwei Servern ist ein Intel Xeon E5-2620 v3 und bei den anderen beiden jeweils ein Intel Xeon E3-1270 v5...

Von der Leistung her scheinen diese relativ identisch zu sein und auch die Ausstattung der Befehlssätze gleicht sich. Bis auf TSX-NI...