Frage zu ZFS und Ceph

[mferner]

Hallo,

wir setzen bisher GlusterFS auf zwei Proxmox 7 Servern und einem QDevice ein. Wir haben unter anderem eine Samba VM in die eine separaten Datenpartition mit derzeit 28 TB gemountet wird. Da wir auf GlusterFS trotz 10 Gb/s Netzwerk nur eine Schribrate von 10 MB/s erreichen und es beim kopieren von sehr vielen Dateien zu Timeouts kommt wollen wir auf ZFS oder Ceph wechseln.

Ist Ceph mit der Hardware (2 Nodes, 1 QDevice) überhaupt möglich bzw. empfehlenswert?

Ist es mit ZFS und Ceph möglich Daten und OS auf separaten Partitionen zu haben um die 28 TB Daten nicht im Backup der Samba VM zu haben?

Ist es besser für unseren Fall von VM's auf Container zu wechseln?

Danke für die Unterstützung
Michael Ferner

 

[CH.illig]

Ganz grob, ja möglich ;-)

Ceph kann einerseits für die VM (schon nicht schlecht da der overhead für ein paar VM's doch egal ist ;-) ein RBD Speicher beiereitstellen
und innerhalb der VM kannst du einen Ceph Pool ebenso anbinden entweder auch als RBD oder eben direkt als FileSystem
Beides via Proxmox bereitstellbar (biss auf die Einbindung im gast... und die rechte der freigabe dann

https://docs.ceph.com/en/latest/cephfs/
https://docs.ceph.com/en/latest/rbd/

 

[Falk R.]

Hallo,

wir setzen bisher GlusterFS auf zwei Proxmox 7 Servern und einem QDevice ein. Wir haben unter anderem eine Samba VM in die eine separaten Datenpartition mit derzeit 28 TB gemountet wird. Da wir auf GlusterFS trotz 10 Gb/s Netzwerk nur eine Schribrate von 10 MB/s erreichen und es beim kopieren von sehr vielen Dateien zu Timeouts kommt wollen wir auf ZFS oder Ceph wechseln.

Das ist nicht normal bei Gluster. Da bitte mal gucken wo die Handbremse sitzt. Eventuell nehmt ihr das Problem sonst mit.

Ist Ceph mit der Hardware (2 Nodes, 1 QDevice) überhaupt möglich bzw. empfehlenswert?

Möglich ja, Empfehlenswert, nein. Für eine verünftige Datenredundanz müsste man eine eigene Crush Rule bauen, wo du die Daten nicht nach Host, sondern nach OSD Gruppen splittest und die OSDs in vernünftige Gruppen sortieren.
Nicht in der GUI möglich und eher etwas für erfahrene Anwender. Und ie würden soetwas vermutlich nicht bauen.

Ist es mit ZFS und Ceph möglich Daten und OS auf separaten Partitionen zu haben um die 28 TB Daten nicht im Backup der Samba VM zu haben?

Natürlich. Da hat nix mit Ceph oder ZFS zu tun. Man legt ja eh bei jeder VM eine eigene OS Disk an und die kann auch auf einem anderen DataStore liegen.
Außerdem kann man in der VM sagen, wenn eine virtuelle Disk nicht mit ins Backup soll.

Bei eurem 2 Knoten Setup würde ich zu ZFS tendieren und dann mit Replikation die Daten automatisch abgleichen lassen.
Je nach Änderungsrate fahre ich manche VMs mit Replikationsinterval von 1 Minute.
Damit ist auch HA und natürlich Livemigration für Updates möglich.

Ist es besser für unseren Fall von VM's auf Container zu wechseln?

Ich sehen keinen Grund dafür.