CEPHS NFS-Ganesha

Discussion in 'Proxmox VE (Deutsch)' started by Toranaga, Nov 22, 2018.

Tags:
  1. Toranaga

    Toranaga New Member

    Joined:
    Jun 17, 2017
    Messages:
    15
    Likes Received:
    2
    Hallo Support,

    gibt es Pläne NFS-Ganesha für CEPH auf Proxmox zu unterstützen?
    Evtl. sogar schon eine Anleitung wie man es installiert?

    Oder andersrum gefragt: Kann man den CEPH-Storage der Proxmox Server direkt vom Host per NFS für andere Nicht-Proxmox-Hosts via Virtuelle IP HA zur Verfügung stellen ohne über eine VM oder Container zu gehen. Geht da was direkt auf dem Proxmox?
     
  2. tschanness

    tschanness Member

    Joined:
    Oct 30, 2016
    Messages:
    291
    Likes Received:
    21
    Hi,
    habe mich vor kurzem auch mal damit beschäftigt.

    Aktuell gibt es afaik seitens PVE keine triviale Möglichkeit. Die Einrichtung von NFS-Ganesha habe ich leider nicht hinbekommen. Sollte aber theoretisch funktioniern.
    Diese funktionalität fände ich aber genial :) - falls das also jemand geschafft hat einzurichten würde ich mich über ein How-To freuen :)
     
  3. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Hallo,

    nein wir sind keine Storage Lösung.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  4. Toranaga

    Toranaga New Member

    Joined:
    Jun 17, 2017
    Messages:
    15
    Likes Received:
    2
    Tja, so wie es aussieht fehlt in Ganesha eine Library "libfsalrgw.so" in den verfügbaren Paketen. Damit ist jede weitere Fehlersuche erstmal sinnlos.

    Schade das Proxmox das nicht als mögliche Erweiterung sieht. Als HA-Backupspeicher in einem anderen Brandabschnitt wäre das schon eine nette Ergänzung.
     
  5. tschanness

    tschanness Member

    Joined:
    Oct 30, 2016
    Messages:
    291
    Likes Received:
    21
    Hi, mit 5.3 geht es.
    apt-get install nfs-ganesha-ceph
    bringt alles mit was man braucht.
    Code:
    root@xx# cat /etc/ganesha/ganesha.conf
    EXPORT
    {
         Export_ID= 1;
         Path = "/ceph/";
         Pseudo = "/ceph/";
         Access_Type = RW;
         SecType = "sys";
         NFS_Protocols = 4;
         Transport_Protocols = TCP;
    
         # optional, permit unsquashed access by client "root" user
         Squash = No_Root_Squash;
    
         FSAL {
                 Name = CEPH;
    
         }
    }
    mounten ging mit
    Code:
    mount -t nfs -o nfsvers=4,rw,noatime localhost:/ /tmp/ceph/
    Code:
    root@xx:~# mount
    [...]
    localhost:/ on /tmp/ceph type nfs4 (rw,noatime,vers=4.0,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=127.0.0.1,local_lock=none,addr=127.0.0.1)
    
    läuft aber dann nach kurzer Zeit in einen Fehler.

    Wenn du weiterkommst kannst du ja bescheid geben.

    LG
     
    flames likes this.
  6. Toranaga

    Toranaga New Member

    Joined:
    Jun 17, 2017
    Messages:
    15
    Likes Received:
    2
    Ich war schon ähnlich weit, aber dann stand Proxmox an sich im Weg. Ich habe erstmal aufgegeben um das ganze neu zu überdenken und evtl. ganz anders anzugehen. Hier mal der Status und die evtl. Pläne.

    Der Plan war einen HA NFS zu bauen als Backupziel und als shared Storage für ESX.
    Daher war es nicht wichtig auf den Pool der virtuellen Maschinen zuzugreifen. Ich wollte nur den bestehenden Plattenstapel mitnutzen. Das neue Cephfs passte daher recht gut.
    Nur bis das cephfs lief hat es aber auch erstmal gedauert. Meine ceph config musste erst repariert(siehe anderer Thread wegen ceph-osd Dienst Fehlermeldungen) und aufgeräumt(alte Tuningeinträge sperrten cephfs) werden.

    Ich hab dann die Ganesha auf cephfs aufgesetzt mit seinem eigenen Pool.
    Da hatte ich zwar auch noch etwas Probleme, weil Ganesha vor der Verfügbarkeit des cephfs startet und es daher auch Shutdown-Probleme gab. Das wäre aber sicher mit kleinen Änderungen der systemd-services lösbar gewesen.
    Das größte Problem war dann aber vermutlich Proxmox an sich. Wie bekomme ich das HA mit in den corosync eingebaut ohne das jedes Update von Proxmox alles zerschiesst. An der Stelle habe ich dann abgebrochen um den Produktivcluster nicht zu gefährden.

    Momentan überlege ich das mit drei möglichst kleinen Containern als HA-Cluster zu machen um cephfs auf NFS durchzureichen. Ich habe an jedem Host noch zwei NIC frei, die als bond für ein weiteres HA-Netzwerk verfügbar wären.
    Da ich aber keine Ahnung von Containern habe, bin ich da noch am einlesen.

    Aber wie wirkt sich die Kaskadierung Platte->ceph->cephfs->mount in Container->corosync->Ganesha->NFS auf Stabilität, Latentz und Durchsatz aus. Klappt das Umschalten ohne das die VMs des ESX darauf sterben?

    Braucht Ganesha überhaupt Corosync oder baut es den Cluster selbst. Eine Config der virtuellen IP habe ich bisher nicht gefunden. So Recht schlau bin ich aber aus den diversen Beschreibungen auch noch nicht geworden.

    Und brauche ich wirklich Ganesha, wenn das dann gekapselt im Container aufgebaut wird. Was ist der Vorteil von Ganesha gegenüber dem NFS-Kernel-Server.

    Evtl. kann man dann diese Container Config nach Proxmox rückportieren.

    Alternativ: nested ESX mit VSAN auf Proxmox. Ok, das wird dann auf meinen Winzigmaschinen endgültig zu langsam. Aber technisch sicher reizvoll auszuprobieren. Wann ist langsam bei VSAN so langsam das nur noch Fehler kommen. Mehr ein PoC, denn von Benutzbarkeit sprechen wir da schon lange nicht mehr.

    Das ist also alles noch eine längere Sache.
     
    tschanness likes this.
  7. frantek

    frantek Member

    Joined:
    May 30, 2009
    Messages:
    160
    Likes Received:
    3
    Ist Nutanics auch nicht und trotzdem kann man den HA-Storage dort auch anderweitig nutzen. Ich fände es gut, wenn Ganesha wieder mit in die Ceph-Packages käme, für die, die es nutzen möchten. Im Moment geht nämlich "apt-get install nfs-ganesha-ceph" nicht. Noch besser fände ich gleich in dem GUI CephFS-Storage per NFS und CIFS freigeben zu können.
     
    #7 frantek, Feb 3, 2019
    Last edited: Feb 3, 2019
    flames and tschanness like this.
  8. flames

    flames New Member

    Joined:
    Feb 8, 2018
    Messages:
    4
    Likes Received:
    0
    Wäre auch sehr dankbar, wenn das in die Packages aufgenommen wird. Aufs GUI kann ich gern verzichten und habe Verständnis, dass dieser Mehraufwand nicht betrieben wird.
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice