2 Cluster zusammenführen

[Znuk]

Hallo liebe IT Kolleginnen und Kollegen,

hab mal wieder ne Frage erstmal der Ist Stand:

1 Cluster (Spock) mit 6 PVEs und ca. 60 VMS
1 Cluster (PVE1) mit 3 PVEs und ca. 60 Vms

alle Vms Laufen und sollten nicht heruntergefahren werden

Zukunft(Wunsch)
1 Cluster Spock mit 9 PVEs und ca. 120 VMS

am liebsten HA oder mit Ceph store

so nun zur Frage:

Ist das möglich im laufendem Betrieb?

liebe Grüße Znuk

 

[aaron]

Eine Grundlegende Frage zu Beginn: sinde alle VMIDs einzigartig in beiden Clustern? Wenn nicht und es doppelte VMIDs gibt wird es deutlich schwieriger.

 

[Znuk]

nein leider sind sie doppelt ;( wie würdet ihr es dann machen? Backups ziehen und die dann auf den 6 Spock PVEs verteilen und dann die 3 PVEs aus dem andere Cluster nachziehen?

Aber wie bekomme ich dann die Vms auf die Ceph geschichte geht das mit move disk?

Hab mal 8 Pves zusammengefasst kann man damit Ceph Ha Share machen oder müssen die alle die gleichen Platten haben?

Le18751	ssd	1​	TB
Le11936	ssd	1,5​	TB
le15763	ssd	750​	GIG
le15764	ssd	750​	Gig
le15965	ssd	1,75​	TB
le15966	ssd	1,75​	TB
le07281	ssd	1,5​	TB
le04281	ssd	1,5​	TB

der neunte fliegt raus der hat noch keine ssds

 

[aaron]

nein leider sind sie doppelt ;( wie würdet ihr es dann machen? Backups ziehen und die dann auf den 6 Spock PVEs verteilen und dann die 3 PVEs aus dem andere Cluster nachziehen?

Das wäre wohl die beste Variante.

Grundsätzlich habe ich noch eine Frage zur Serverkonfiguration: Was für ein Storage verwendet ihr im Moment? So wie ich das verstanden habe im Moment noch kein Ceph.

 

[Znuk]

nein kein ceph haben einfach ein samba share wir vermuten das das auch ein grund ist warum die backups langsam sind

ausserdem wollen wir gerne HA haben und das wäre wohl mit ceph machbar... ich wollte halt wochenendarbeit vermeiden

spricht was gegen ceph... klang in meinen Ohren halt recht einfach zu konfigurieren und einzubinden..... würde dann halt sobald das ceph steht die vms mit move disk auf den ceph storage legen.

Muss ich was mit der Lan verkabelung zwischen den knoten beachten würde 10/gbit alle auf einen switch hängen und abfahrt müsste doch ausreichen oder?

beste grüße und danke für die antworten

 

[digidax]

10 gbit ist ok, könnte aber enge werden, wenn es zu einem recovery szenario kommt. Dual NIC mit 2x 10 Gbit werden aktuell allgemein als Stand der Technik empfohlen. Ich evaluiere momentan von, ob ich LWL oder Kupfer nehme. Rein preislich nimmt es sich kaum etwas. (NIC's, Switch, Medium)

 

[Znuk]

jo hab 2 nics in den servern muss ich das dann bündeln oder wie hast du das gemeint?

 

[aaron]

Okay.
Die VMs bekommst wie schon vermutet mit dem Move Disk auf den Ceph cluster.

Bezüglich Ceph Cluster aufbauen: die Empfohlenen Vorraussetzungen [0] hast du sicher schon gelesen.

Ceph auf ein eigenes Netz legen ist gut. Du kannst das Ceph Cluster und Ceph Public Netz schon in verschiedene IP Subnets legen, auch wenn sie noch über das gleiche Interface gehen. Das macht es leichter diese in Zukunft auf eigene Interfaces zu splitten.

Bezüglich unterschiedlicher OSD größe kann ich selber nicht viel sagen aber nach ein wenig recherchieren scheint es nicht die beste Idee zu sein.

Bezüglich der zwei NICs: wie viele 10G Switches hast du? Man kann das mit den zwei NICs je nach Netzwerkhardware auf die ein oder andere Art ausfallsicher konfigurieren. So dass ein Switch ausfallen kann.


[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_hyper_converged_infrastructure Unterkapitel Preconditions

 

[Znuk]

ich habe soviele switches wie ich will geld spielt nicht wirklich eine rolle.... wichtig ist nur das es Proxmox ist und nicht VM

ich könnte noch die ssds aus ihrem raid lösen dann hätte ich zwar weniger platz aber dafür immer die gleichen ssds

soll ich das einplanen?

 

[aaron]

ich habe soviele switches wie ich will geld spielt nicht wirklich eine rolle.... wichtig ist nur das es Proxmox ist und nicht VM

Wenn die switches Stackbar sind sollte LACP möglich sein, ansonsten ein active-backup bond. Siehe auch 3.3.7: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#sysadmin_network_configuration

ich könnte noch die ssds aus ihrem raid lösen dann hätte ich zwar weniger platz aber dafür immer die gleichen ssds

Die SSDs sind im Moment in einem RAID? Nicht gut. Ceph will, ähnlich wie ZFS, die nackten Disks.

Bitte lies dir Kapitel 4 unserer Doku durch und auch ein wenig die offizielle Ceph doku. Es gibt ein paar Dinge zu beachten damit du damit glücklich wirst.