PVE & GlusterFS - 3Node HCA

[grefabu]

Moin,

mal mehr als Info:

Aufgebaut habe ich einen Cluster aus drei Knoten. Jeder Knoten trägt über GlusterFS eine HDD als Brick bei.
Das lief auch unter normalen Umständen gut, aber wenn ich jetzt einen Knoten runter fuhr, kam es immer zu hängern im GlusterFS bzw. in Maschinen deren images daruf lagen.

Nach einem kurzen Austausch auf der Mailliste von GlusterFS haben wir folgende Lösung gefunden:
Folgendes Script muss VOR dem Shutdown ausgefühert werden: https://github.com/gluster/glusterfs/blob/master/extras/stop-all-gluster-processes.sh

Dazu habe ich mir einen eigenen systemd Service definiert:

[Unit]
Description=Kill gluster client access before shutdown
Requires=glusterd.service

[Service]
Type=oneshot
RemainAfterExit=true
ExecStart=/bin/true
ExecStop=/root/bin/killgluster.sh

[Install]
WantedBy=multi-user.target

Jetzt kann ich über das Webinterface einen Knoten herunterfahren und das GlusterFS merkt von nichts,...

 

[Dominic]

Das war dein Thread?

Das heißt, das Skript und das Service sind Workarounds um einen Mangel von GlusterFS zu beheben, nicht einen von Proxmox VE?

 

[grefabu]

Yep, ist kein proxmox Problem. Ich wollte den Workaround hier nur publizieren,...

 

[Dominic]

Danke dafür! Vielleicht komme ich demnächst dazu das als Beitrag in unser Wiki aufzunehmen.