Proxmox umbau und Cluster erstellen

[vikozo]

Guten Tag

ich habe eine frage ob meine Umstellungs-Idee so klappen würde!

ich habe neue Hardware und installiere Proxmox 4x6TB mit ZFS (Raid-Z2) und Ceph (pve-05)
- bringt Raid-Z2 mehr Sicherheit und Geschwindigkeit gegenüber Raid-Z1?
- kann man Ceph installieren auf nur einem Node?
- erstelle ein VM vNAS-05 mit einer 3TB Disk

ich habe ein FreeNAS mit 6x4TB Disk
- kopiere die Daten nach dem neuen vNAS-05
- zerstöre das FreeNAS und installiere Proxmox (pve-06)
- pve-06 mit ZFS und Ceph und verbinde/Clustere es mit ceph von pve-05
- verschiebe den VM vNAS-05 inkl. Disk auf den pve-06

habe noch ein bestehendes Proxmox mit diversen VM (srv-03)
- srv-03 jetzt ohne ZFS oder Ceph
- wunsch einfügen srv-03 in den Cluster
- Verschieben aller VM's in den Cluster(pve-05)
- nehme den serv-03 aus dem Cluster
- zerstöre den srv-03 füge ersetzte die zwei alten Disk, und installiere ein neues Proxmox pve-03 mit ZFS
- füge pve-03 in den bestehenden Cluster ein

würde das per se so gehen oder hab ich etwas im System nicht verstanden?

gruss
Vinc

 

[Ingo S]

Das funktioniert so nicht. Für Ceph brauchst du grundsätzlich mehr als einen Node, Minimum sind 3. Ceph ist ein verteilter Speichercluster, der alle Daten, je nach Konfiguration, auf den Nodes redundant ablegt. In der Standardkonfiguration hast du von jedem Datenblock 3 Instanzen (pool_default_size=3) und diese dürfen natürlich nicht auf dem gleichen Server liegen. Deshalb brauchst du 3 Server. Würdest du Ceph auf eine pool size von 2 konfigurieren geht dir sehr viel Datensicherheit verloren, weil bereits bei Beschädigung nur einer Instanz eines Datenblocks nicht mehr entschieden werden kann, welche der Kopien die gültige ist. Das gilt z.B. wenn die in einem Datenblock ein einzelnes Bit umkippt, genauso wie wenn dir ein Server abraucht, oder eine Festplatte den Geist aufgibt.

Starten kannst du deinen Cluster mit nur einem Node, dann aber ohne Ceph. Darauf migrierst du alle Maschinen, sofern du genügend RAM und Storage hast. Oder du migrierst erst alle Maschinen von einem Server und fügst diesen dann dem Cluster hinzu.
Du brauchst dazu entweder einen zentralen Storage der genügen Speicherplatz hat und z.B. via NFS erreichbar ist, oder du brauchst auf jedem Node entsprechend der VMs lokalen Speicher.
Wenn du den dritten Server leer geräumt hast, kannst du diesen umbauen, neu installieren und in den Cluster auf nehmen.

Du solltest keinen Cluster mit weniger als 3 Nodes auf Dauer betreiben. Solltest du einen Node verlieren, verliert dein Cluster Quorum, so dass du Maschinen weder verändern, stoppen oder starten kannst.

ich würde dir auch nicht empfehlen, einen Ceph Cluster mit nur 3 Nodes zu betreiben. Das geht und ist auch sicher machbar. Wenn das Ceph aber HDDs als Speicherplatz nutzt, ist die Performance nicht gerade berauschend, wenn du viel random IO hast, z.B. Datenbanken, oder Laufwerke auf denen User oder Software viele kleine Dateien ablegen. Unser Ceph Cluster mit 4 Nodes und 32 HDDs erreicht bei 4k Random IO mit 8 gleichzeitigen Threads zwischen 2000 und 3000 IO/s. Das sind etwa 8-12MB/s...
Da wir aber nicht so viel Random IO haben geht das. Man sollte sowas aber wissen.

Für so kleine Cluster kann es besser sein, ein gutes NAS als zentralen Speicher zu betreiben und diesen via NFS an Proxmox zu hängen. Das geht natürlich auch mit einer Hardware FreeNAS Maschine oder sonstigen Lösungen. Regelmäßige Backups auf einem sicheren Medium sind natürlich immer unerlässlich. Dein NAS ist in so einem Setup ein single point of failure!
Achso, und für die Handhabung der Clusters ist es in der Praxis ganz angenehm wenn die Server ähnlich sind, was RAM und sonstige Ausstattung angeht, damit man beim online migrieren von VMs nicht irgendwo in Engpässe gerät.
Oh und eine gute Netzwerkverbindung zum/im Speichersystem ist ebenfalls wichtig.

Mit ZFS kenne ich mich leider nicht aus, wir nutzen Ceph.

 

[vikozo]

@Ingo S vielen Dank für die Superschnelle Antwort.
Am Schluss hätte ich ja 3 nodes mit Ceph!
wegen dem Cluster Quorum, da könnte ich ja noch ein Raspberry Pi als 4ten einbinden ;-)
aber Ceph kann ich wohl vergessen wegen der Performance.

Also "nur" das ganze in einem Cluster betreiben,

 

[Ingo S]

Naja es kommt auf dein Budget an. Wenn dein Speicher nicht zu groß werden muss, kann es ja auch in deinem Budget liegen, Ceph mit SSDs zu bauen. Da aber unbedingt auf Enterprise Grade SSDs achten!
Ceph ist eine wirklich klasse Sache. Es ist eines der sichersten Speichersysteme die ich kenne. Es ist unglaublich robust gegen Ausfall von Festplatten oder ganzen Servern, wenn die Struktur stimmt und es lässt sich on the fly beliebig erweitern.
Aber es ist genau deshalb auch sehr komplex und man muss viel lernen bevor man sowas sicher betreiben kann.

Wenn man sowas privat zu Hause oder in der Firma im Testsystem macht, kann man risikolos viel damit herum spielen. Wenn aber wichtige Daten darauf liegen und z.B. die Produktion oder der Rest der Firma vom Funktionieren des Ceph abhängen, braucht es einen sicheren Umgang. Man kann schnell mal was lahmlegen oder dauerhaft kaputt machen, wenn man nicht weiß, was man tut oder man Panik bekommt wenn das System plötzlich stillsteht. Da musste ich persönlich schonmal durch, das macht wenig Spaß
Daher ein Produktiv System nur auf Ceph laufen lassen, wenn du im Testsystem Erfahrung gesammelt hast, was im Fehlerfall zu tun ist.

So lange dein Cluster eine ungerade Anzahl an Nodes hat, hat immer ein Teil des Clusters Quorum wenn der Cluster "gespalten" wird. Da brauchst du keinen Rasberry Pi.

 

[CoolTux]

Ich verwende CEPH Privat und bin total zufrieden. Ich habe 5 kleine "Tischfeuerwerke" mit jeweils einer 1TB SSD. Auf der ist das System plus zusätzlicher Partition für CEPH.

 

[vikozo]

@Leon Gaultier Danke für dein Feedback, was sind Tischfeuerwerke?

 

[CoolTux]

Das sind so kleine Rechner die man auf den Tisch stellen kann. Werden eigentlich in Büros verwendet. Ich habe da DELL Optiplex 9020 micro. Für meine Zwecke genau richtig.