Hilfe - Node bootet aber mounted keine Storages und ist auch nicht so richtig da

[rebru]

Habe letztes Wochenende (Sonntag) auf 8.2.2 aktualisiert und ich weiss nicht, ob das damit zusammenhängt, einfach das als vorne weg Information.

Heute 20:35 rum hab ich plötzlich gemerkt, dass diverse meine virtuellen Maschinen nicht mehr erreichbar sind. Hatte heute über den ganzen Tag von NFS zu NFS Migrationen gemacht (nur die Disks) und es schien auch alles in Ordnung zu sein bis eben 20:35.

Da hab ich gesehen, dass auf dem einen Node die Stores nicht mehr gemounted sind - weder local-lvm noch die NFS stores. Hab dann den enstprechenden Node gebootet und auch im IDRAC nachgesehen ob das Storage Probleme hat, aber da ist alles in Ordnung.

Der Node kommt auch wieder hoch, mounted aber keinen der Storages und auch im ClusterVerbund kann ich den Node zwar sehen, aber er ist grau und und diverse Untermenüs landen in einem Timeout. Lustigerweise funktioniert aber die Shell (über Web) noch immer.

Das ganze sieht dann so aus hier

Hab schon versucht herauszufinden warum er diese Stores nicht mounted und mit den anderen beiden noch funktionierenden Nodes verglichen, aber ich sehe nichts was darauf hindeutet warum er plötzlich so instabil ist bzw. zum Teil nicht ansprechbar.

Hat jemand von euch einen Tipp? Ich brauche wirklich Hilfe und wäre unendlich dankbar weil mir ist total nicht mehr wohl, das Ding läuft ja auch produktiv und entsprechend schwitze ich momentan Blut und Wasser weil ich Angst habe, dass nächstens mein ganzer Cluster irgendwie runtergeht.

Wenn ihr mehr Informationen braucht, lasst es mich wissen was ihr brauch dann liefere ich das nach.

 

[rebru]

Hat sich erledigt - das Problem war der Linstor (DRBD) weil dieser sich aufgehängt hat, konnten auch die lokalen Platten nicht mehr mounten (macht zwar nicht viel Sinn, aber ist so gewesen). Nachdem ich dieses Problem gefixt hatte, kamen auch alle anderen Stores wieder in Betrieb auf dem pxhv2.


Aber ist schon mächtig strange gewesen, vor allem versteh ich nicht warum er dann in diesen "Connection Timeout" lief - ist das so, dass wenn ein NFS derart abkackt (lustigerweise nur zuerst auf diesem Server, danach als ich den pxhv2 gefixt hatte, komischerweise auch die anderen beiden - linstor dann komplett weg auf allen 3 Servern, bis ich dann den node gebootet habe wo das NFS aktuell drauf lag (also den Linstor Node)) dass man nicht mal mehr das lvm-local mounten kann?

Das finde ich schon sehr speziell.