Ceph und Datentrennung Verzeichnisse Mount vom Fremdrechner

[MSCH]

Hallo,
ich arbeite mich gerade in Proxmox 6.1 ein und finde es richtig gut!!
Das Verständnis kommt so nach und nach ;-)
Nach dem ich ein 3 Node Cluster aufgesetzt habe und mehrere OSD's und ein Cephfs angelegt habe ( so zum Testen), kommt nun eine Verständnisfrage.

Ich konnte auch von einem Fremdrechner auf das cephfs zugreifen.
Wie ist das mit der Datentrennung?

Eigentlich wollte ich bestimmte Daten getrennt ablegen und über die 3 Nodes synchron halten.
Wie muss man da vorgehen?
Hatte schon nach einer Möglichkeit gesucht, aber alle neuen OSD's die ich angelegt haben sind wohl dem cephfs zugebucht worden.
Kann man dort Verzeichnisse anlegen und die Zugriffe beschränken oder wie ist das zu regeln?

Bevor ich das cephfs angelegt hatte, habe ich auch einzelne OSD's der Nodes zu einzelnen ceph-Storages angelegt. (ceph-lxc , ceph-vms, ceph-data1, ceph-data2)
Lokal wollte ich nichts mehr ablegen.
Was ist da jetzt der richtige Weg?
Gibt es bei Cephfs auch eine Limitvorgabe oder wird dort genommen was da ist?

Ich hoffe jemand kann mir hier einen Tipp geben und danke schon einmal im voraus

Michael

 

[Ingo S]

Wenn dein CephFS NUR für Proxmox gedacht ist, dann kannst du dein Ceph über ein eigenes Netz (physikalisch oder VLAN) kommunizieren lassen. Dann können andere Geräte das Ceph nicht erreichen.

 

[MSCH]

Hallo Ingo, danke für die schnelle Antwort.
Im Großen und Ganzen ist das für das Proxmox Cluster und deren VM's/LXC's gedacht.
ABER, ;-) wenn die VM's / LXC's Datenablegen sollen und das auf cephfs und verteilt auf die Nodes wegen HA, wie mache ich das sinnvoll?

Denn sollte eine VM gehackt werden, dann würden alle Daten dort bereit stehen. ist glaube ich keine gute Idee ;-).
Verschiedene VM's / LXC's sollen auch verschiedene Speicherplätze haben. So wäre der Gedanke, aber alle Daten sollen auf allen Nodes dann verfügbar sein. (Wegen HA)
Klar das Problem wäre halt, wenn ein Node gehackt würde, aber da gäbe es evtl noch die Verschlüsselung.
Was macht dort Sinn?

1. cephfs mit Unterverzeichnissen die Zugangsberechtigungen hätten? (Keine Ahnugn wie das gehen würde und wo ich dort Infos finde)
2. Eher verschiedene ceph storages mit jeweils einem cephfs?
   Wobei ich noch nicht herausgefunden habe wie das geht, denn ich konnte nur ein cephfs anlegen und dabei keine OSD's auswählen.

Michael

 

[Alwin]

cephfs mit Unterverzeichnissen die Zugangsberechtigungen hätten? (Keine Ahnugn wie das gehen würde und wo ich dort Infos finde)

Dafür ist CephFS im hyper-konvergenten Aufbau mit Proxmox VE nicht gedacht. Alle VM/CT haben ihre Daten auf dem jeweiligen RBD image (ein Pool). Eine gehackte VM/CT hat im Normalfall nur Zugriff auf die Daten in seinen RBD images. Das CephFS ist fuer Backups, Templates und ISOs gedacht. Und nicht als genereller Datenspeicher (auch wenn das technisch geht).

Eher verschiedene ceph storages mit jeweils einem cephfs?
Wobei ich noch nicht herausgefunden habe wie das geht, denn ich konnte nur ein cephfs anlegen und dabei keine OSD's auswählen.

Ein multi-CephFS ist noch experimental und bringt in diesem Scenario auch nicht viel.

 

[Ingo S]

Ah, jetzt verstehe ich das erst richtig.
Da bin ich bei Alwin.
Jede VM bekommt einen oder mehrere virtuelle Datenträger, die auf dem Ceph liegen. Das ist dann nicht CephFS, sondern ein RBD Image.
Wenn eine VM gehackt würde, hätte die VM nur Zugriff auf die Daten des eigenen Images und nicht auf den gesamten Datenstand. Die Datenträger lassen sich bei Bedarf nachträglich vergrößern oder beliebige neue an die VM anhängen. Das ist kein Problem.

Ich hatte das erst so verstanden, dass man über die Rechner im Netz, eben auch Zugriff auf das Ceph System bekommt und dann da die Images lesen kann oder neue Anlegen etc. Das würde man eben über ein abgetrenntes Subnetz für Ceph erschlagen.

 

[Alwin]

Ich hatte das erst so verstanden, dass man über die Rechner im Netz, eben auch Zugriff auf das Ceph System bekommt und dann da die Images lesen kann oder neue Anlegen etc. Das würde man eben über ein abgetrenntes Subnetz für Ceph erschlagen.

Richtig. Wobei sich der Client aber beim Ceph Cluster erst Authentifizieren muss (sofern cephx gesetzt ist).