Proxmox mit Ceph und ceph-csi sinnevoll?

[fwinkler]

Hi,

wir haben eine Proxmox Cluster mit 5 Nodes mit Ceph. Jetzt wollen wir darauf Kubernetes betreiben.
Aktuell Testen ich gerade CSI Treiber und die Frage bei der ich gerade stehe ist wie sinnvoll es ist auf einen ceph einen ceph-csi oder rook mit External Storage zu verwenden?

Das Kubernetes läuft mit Talos als Betriebssystem auf dem Ceph und greift mit dem ceph-csi Treiber wieder auf das Ceph zu.

Gibt es da nicht eine besser Lösung?

 

[cheiss]

Hi,

Das Kubernetes läuft mit Talos als Betriebssystem auf dem Ceph und greift mit dem ceph-csi Treiber wieder auf das Ceph zu.

Nur um es richtig zu verstehen: Ihr habt VMs auf deren Talos/Kubernetes läuft, deren Storage von Ceph gebacked wird. Innerhalb der VMs habt ihr dann wieder einen eigenen Ceph-Cluster erstellt, auf welchen dann ceph-csi zugreift?

Die einfachste Lösung wäre hier ein eigenes CephFS (oder mehrere, je nach Architektur natürlich) für Kubernetes im Proxmox VE Ceph Cluster zu erstellen und ceph-csi direkt auf diese Pools zugreifen zu lassen. Über einen eigenen Ceph User (siehe User Management in der Ceph Dokumentation und Capabilities in der ceph-csi Dokumentation) lassen sich dann auch die Rechte etc. entsprechend verteilen.
So betreibe ich persönlich auch einen Cluster für einen Verein, funktioniert bisher eigentlich problemlos.

 

[fwinkler]

Nein, Kubernetes VM laufen auf dem Ceph vom Proxmox und der ceph-csi Treiber greift auch auf dem Ceph Cluster vom Proxmox zum.

Die Überlegung war nur: der csi Treiber speichert doch die Daten(mountet ein Verzeichnis) auf dem Host vom Kubernetes zwischen, welches auch Ceph ist. Ist das nicht unperformant?

Bei meinen Tests mit kubestr fio habe ich mit ceph-csi 1600 iops im Schreiben und mit dem Localpath Provider( wäre dann ja auch Ceph) komme ich auf 40000 iops Schreibend