CEPHS NFS-Ganesha

[Toranaga]

Hallo Support,

gibt es Pläne NFS-Ganesha für CEPH auf Proxmox zu unterstützen?
Evtl. sogar schon eine Anleitung wie man es installiert?

Oder andersrum gefragt: Kann man den CEPH-Storage der Proxmox Server direkt vom Host per NFS für andere Nicht-Proxmox-Hosts via Virtuelle IP HA zur Verfügung stellen ohne über eine VM oder Container zu gehen. Geht da was direkt auf dem Proxmox?

 

[tschanness]

Hi,
habe mich vor kurzem auch mal damit beschäftigt.

Aktuell gibt es afaik seitens PVE keine triviale Möglichkeit. Die Einrichtung von NFS-Ganesha habe ich leider nicht hinbekommen. Sollte aber theoretisch funktioniern.
Diese funktionalität fände ich aber genial - falls das also jemand geschafft hat einzurichten würde ich mich über ein How-To freuen

 

[wolfgang]

Hallo,

nein wir sind keine Storage Lösung.

 

[Toranaga]

Tja, so wie es aussieht fehlt in Ganesha eine Library "libfsalrgw.so" in den verfügbaren Paketen. Damit ist jede weitere Fehlersuche erstmal sinnlos.

Schade das Proxmox das nicht als mögliche Erweiterung sieht. Als HA-Backupspeicher in einem anderen Brandabschnitt wäre das schon eine nette Ergänzung.

 

[tschanness]

Tja, so wie es aussieht fehlt in Ganesha eine Library "libfsalrgw.so" in den verfügbaren Paketen. Damit ist jede weitere Fehlersuche erstmal sinnlos.

Hi, mit 5.3 geht es.
apt-get install nfs-ganesha-ceph
bringt alles mit was man braucht.

root@xx# cat /etc/ganesha/ganesha.conf
EXPORT
{
     Export_ID= 1;
     Path = "/ceph/";
     Pseudo = "/ceph/";
     Access_Type = RW;
     SecType = "sys";
     NFS_Protocols = 4;
     Transport_Protocols = TCP;

     # optional, permit unsquashed access by client "root" user
     Squash = No_Root_Squash;

     FSAL {
             Name = CEPH;

     }
}

mounten ging mit

mount -t nfs -o nfsvers=4,rw,noatime localhost:/ /tmp/ceph/

root@xx:~# mount
[...]
localhost:/ on /tmp/ceph type nfs4 (rw,noatime,vers=4.0,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=127.0.0.1,local_lock=none,addr=127.0.0.1)

läuft aber dann nach kurzer Zeit in einen Fehler.

Wenn du weiterkommst kannst du ja bescheid geben.

LG

 

[Toranaga]

Ich war schon ähnlich weit, aber dann stand Proxmox an sich im Weg. Ich habe erstmal aufgegeben um das ganze neu zu überdenken und evtl. ganz anders anzugehen. Hier mal der Status und die evtl. Pläne.

Der Plan war einen HA NFS zu bauen als Backupziel und als shared Storage für ESX.
Daher war es nicht wichtig auf den Pool der virtuellen Maschinen zuzugreifen. Ich wollte nur den bestehenden Plattenstapel mitnutzen. Das neue Cephfs passte daher recht gut.
Nur bis das cephfs lief hat es aber auch erstmal gedauert. Meine ceph config musste erst repariert(siehe anderer Thread wegen ceph-osd Dienst Fehlermeldungen) und aufgeräumt(alte Tuningeinträge sperrten cephfs) werden.

Ich hab dann die Ganesha auf cephfs aufgesetzt mit seinem eigenen Pool.
Da hatte ich zwar auch noch etwas Probleme, weil Ganesha vor der Verfügbarkeit des cephfs startet und es daher auch Shutdown-Probleme gab. Das wäre aber sicher mit kleinen Änderungen der systemd-services lösbar gewesen.
Das größte Problem war dann aber vermutlich Proxmox an sich. Wie bekomme ich das HA mit in den corosync eingebaut ohne das jedes Update von Proxmox alles zerschiesst. An der Stelle habe ich dann abgebrochen um den Produktivcluster nicht zu gefährden.

Momentan überlege ich das mit drei möglichst kleinen Containern als HA-Cluster zu machen um cephfs auf NFS durchzureichen. Ich habe an jedem Host noch zwei NIC frei, die als bond für ein weiteres HA-Netzwerk verfügbar wären.
Da ich aber keine Ahnung von Containern habe, bin ich da noch am einlesen.

Aber wie wirkt sich die Kaskadierung Platte->ceph->cephfs->mount in Container->corosync->Ganesha->NFS auf Stabilität, Latentz und Durchsatz aus. Klappt das Umschalten ohne das die VMs des ESX darauf sterben?

Braucht Ganesha überhaupt Corosync oder baut es den Cluster selbst. Eine Config der virtuellen IP habe ich bisher nicht gefunden. So Recht schlau bin ich aber aus den diversen Beschreibungen auch noch nicht geworden.

Und brauche ich wirklich Ganesha, wenn das dann gekapselt im Container aufgebaut wird. Was ist der Vorteil von Ganesha gegenüber dem NFS-Kernel-Server.

Evtl. kann man dann diese Container Config nach Proxmox rückportieren.

Alternativ: nested ESX mit VSAN auf Proxmox. Ok, das wird dann auf meinen Winzigmaschinen endgültig zu langsam. Aber technisch sicher reizvoll auszuprobieren. Wann ist langsam bei VSAN so langsam das nur noch Fehler kommen. Mehr ein PoC, denn von Benutzbarkeit sprechen wir da schon lange nicht mehr.

Das ist also alles noch eine längere Sache.

 

[frantek]

Hallo,

nein wir sind keine Storage Lösung.

Ist Nutanics auch nicht und trotzdem kann man den HA-Storage dort auch anderweitig nutzen. Ich fände es gut, wenn Ganesha wieder mit in die Ceph-Packages käme, für die, die es nutzen möchten. Im Moment geht nämlich "apt-get install nfs-ganesha-ceph" nicht. Noch besser fände ich gleich in dem GUI CephFS-Storage per NFS und CIFS freigeben zu können.

 

[flames]

Wäre auch sehr dankbar, wenn das in die Packages aufgenommen wird. Aufs GUI kann ich gern verzichten und habe Verständnis, dass dieser Mehraufwand nicht betrieben wird.

 

[Rainerle]

Ich habe das hier noch mal aufgegriffen, den Beitrag könnte man Liken:
https://forum.proxmox.com/threads/h...a-proxmox-cluster-with-ceph.80967/post-363314