Umstieg von ZFS zu Ceph

[herzkerl]

Hallo zusammen,

ursprünglich hatte ich meinen Cluster via ZFS aufgesetzt – nun würde ich gerne zumindest einen Teil der SSDs für Ceph nutzen. Die Server nutzen allesamt einen einen striped mirror (RAID 10-Äquiv.), auf dem jedoch auch Proxmox selbst liegt.

Da ich die Disks für Ceph ja komplett löschen muss, sehe ich hier nur die Möglichkeit, zwei Stück je Server aus dem RAID zu nehmen (falls das überhaupt möglich ist, zu einem reinen Mirror umzustellen) oder die Alternative der Neuinstallation.

Übersehe ich da was? Freue mich auf euer Feedback.

Viele Grüße!

 

[aaron]

Schau dir man zpool-remove an. Probiers aber lieber vorher lieber in einem Testsystem aus!

Wie viele Nodes hat der Cluster? Sowit willst du dann 2 OSDs pro Node haben oder? Falls es sich um einen 3 Node cluster handelt, würde ich noch mindestens eine weitere OSD in jede Node geben. Der Hintergrund ist der, dass in einem 3 Node Cluster Ceph gerade so alle Replicas auf die Nodes verteilen kann, um auf 3 Kopien zu kommen. Wenn nun eine der zwei OSDs in einer Node ausfällt, versucht Ceph weiter auf die 3 Kopien zu kommen, was schnell dazu führen kann, dass die verbleibende OSD voll wird.

Bei Ceph gilt grundsätzlich das Motto, je mehr Ressourcen da sind, desto leichter lassen sich Ausfälle wegstecken.

 

[herzkerl]

Wie viele Nodes hat der Cluster? Sowit willst du dann 2 OSDs pro Node haben oder? Falls es sich um einen 3 Node cluster handelt, würde ich noch mindestens eine weitere OSD in jede Node geben. Der Hintergrund ist der, dass in einem 3 Node Cluster Ceph gerade so alle Replicas auf die Nodes verteilen kann, um auf 3 Kopien zu kommen. Wenn nun eine der zwei OSDs in einer Node ausfällt, versucht Ceph weiter auf die 3 Kopien zu kommen, was schnell dazu führen kann, dass die verbleibende OSD voll wird.

Danke für den Hinweis – habe aktuell je Server 2 neue NVMe-SSDs und werde bei Gelegenheit dann mal auf 3 gehen (mindestens). Bei den anderen SSDs, auf denen derzeit auch das OS läuft, sprechen wir über jeweils 4 Stück je Server (SATA). Idealerweise würde ich die gerne alle mit Ceph nutzen, aber wenn ich das richtig sehe, kann Proxmox dann nicht darauf installiert sein. Somit bliebe nur der Workaround, jeweils 2 der 4 SSDs aus dem Mirror zu nehmen... Oder hast du eine andere Idee?

 

[aaron]

Genau, irgendwo muss das OS auch installiert werden und da würde ich, wenn Ceph drauf laufen soll, doch auch ein bisschen Platz lassen. Monitore zB können zwischendurch auch mal einige 10 GB an Platz brauchen für ihre Datenbank.

Du hast aktuell 2x NVME und 4x Sata SSDs? Du hast jetzt nicht dazu geschrieben wie groß die sind, aber da könnte man überlegen ob man die NVMEs und 2x Sata als OSDs nimmt oder die NVMEs für das OS und die 4x SATA als OSDs.

Aber das hängt natürlich auch noch von anderen Faktoren ab wie Größe, benötigte Performance usw.

 

[herzkerl]

Du hast aktuell 2x NVME und 4x Sata SSDs? Du hast jetzt nicht dazu geschrieben wie groß die sind, aber da könnte man überlegen ob man die NVMEs und 2x Sata als OSDs nimmt oder die NVMEs für das OS und die 4x SATA als OSDs.

Die NVMe sind ca. 2 TB, die SATA-SSDs sind 1 TB groß. Das OS darf gerne auf den SATA-SSDs bleiben – verstehe ich dich richtig, dass es theoretisch gehen müsste, ohne Neuinstallation diese SATA-SSDs (mit dem OS drauf) ebenfalls für Ceph zu verwenden?