[Gelöst] Cluster - OMV mit VM - NFS share

[BassT]

Hi @ll,

ich habe eine "Aufgabe":

Ich habe ein Proxmox Cluster aus 3 Nodes.
Auf "Node3" sind 6 Festplatten (USB) angeschlossen. Auf diesem Node läuft eine VM mit OMV, welche die Platten verwalten.

Bei OMV ist SMB und NFS Share eingerichtet.
2 NFS Shares sind im Cluster eingebunden (Daten / Backup)

Wenn jetzt zb die VM neugestartet wird bricht die Verbindung zu den Shares ab - logisch, ...
Um die shares aber wieder zum laufen zu bekommen muss ich die anderen Nodes neu booten, damit sie wieder funktionieren.
Ab und an fangen sie sich auch von alleine wieder ein, aber eher selten.
Ein "einfaches" deaktivieren / aktivieren in der UI bringt nichts, ...

Wie kann ich das ganze besser / stabiler aufbauen? - Ohne einen 4. zusätzlichen Rechner?

Grüße

 

[sb-jw]

Wie kann ich das ganze besser / stabiler aufbauen? - Ohne einen 4. zusätzlichen Rechner?

Backups sollte man nicht auf quasi der gleichen Hardware sichern. Zwar hast du externe Festplatten dran, die sind aber dennoch nicht vom produktiven System getrennt. Ein 4. System für Backups wäre zu empfehlen, was auch eine NAS mit 2x Platten im RAID 1 abbilden könnte.

Ansonsten Shared Storage wie z. B. CEPH verwenden um die Abhängigkeit an eine VM für den gesamten Cluster zu lösen. Du hast ja hier ein tolles Henne / Ei Problem geschaffen mit erst mal einer direkten Abhängigkeit auch noch an eine Node (wo die USB Platten angeschlossen sind).
Alternativ kannst du auch mit ZFS und Replication arbeiten. Die Frage ist letztlich immer welche und wie viele Datenträger du derzeit zur Verfügung hast, ob du bereit bist zusätzliche zu kaufen und ob deine Systeme selbst auch über ausreichend Festplatten Schächte verfügen.

 

[BassT]

Backups sollte man nicht auf quasi der gleichen Hardware sichern. Zwar hast du externe Festplatten dran, die sind aber dennoch nicht vom produktiven System getrennt. Ein 4. System für Backups wäre zu empfehlen, was auch eine NAS mit 2x Platten im RAID 1 abbilden könnte.

Ansonsten Shared Storage wie z. B. CEPH verwenden um die Abhängigkeit an eine VM für den gesamten Cluster zu lösen. Du hast ja hier ein tolles Henne / Ei Problem geschaffen mit erst mal einer direkten Abhängigkeit auch noch an eine Node (wo die USB Platten angeschlossen sind).
Alternativ kannst du auch mit ZFS und Replication arbeiten. Die Frage ist letztlich immer welche und wie viele Datenträger du derzeit zur Verfügung hast, ob du bereit bist zusätzliche zu kaufen und ob deine Systeme selbst auch über ausreichend Festplatten Schächte verfügen.

Anfangs habe ich mit "nur" 2 Nodes und einem Raspi (QDevice) das Cluster am laufen gehabt. Der Raspi hat die Platten per OMV verwaltet.
Hatte jetzt einen weiteren mini PC "übrig", daher mein gedanke den Raspi (mit nur 2x USB 3.x) durch mini PC (6x USB 3.x) ersetzen.
Die Platten sind auch alle "wild" zusammengewürfelt und inerne (mit USB Adapter) bis auf die WD.
(2x 2TB SSD Intenso/ 1x 1TB m.2 SSD / 1x 1TB SSD Samsung / 1x 1TB HDD WD external / 1x 1TB HDD Samsung)

Ein Raid ist somit nicht produktiv umsetzbar.
Ist auch alles nicht so schlimm - da ich hier nur ein Smarthome betreibe - kein Büro
Ich habe mir mal SNAPRaid angeschaut, das könnte auf dauer vielleicht mal eine Lösung werden, ...

2 Nodes laufen im selben Subnet und sind mit ZFS / Replikation für die wichtigen Systeme aufgesetzt.
Der 3. Node ist zu vernachlässigen, da anderes Subnet (Smarthome). Dieser kann nur als quorum genutzt werden, da sonst IP Probleme, ...

Dennoch sind auf allen Nodes Systeme, welche das NFS als Speicher für die VM/LXC nutzen, ...

Lange rede kurzer sinn: Kann ich nicht mithilfe eines scripts, das erneute einbinden der NFS shares realisieren?
Die Problematik habe ich jetzt verstanden, aber ich brauche den 3.node (als HA fallback im selben subnet) und einen 4. "Stromfresser" möchte ich tunlichst vermeiden.

 

[Klaus Urban]

Ich würde anstelle von Node 3 einen ProxMox-Backup-Server mit QDevice einrichten.

 

[BassT]

Ich würde anstelle von Node 3 einen ProxMox-Backup-Server mit QDevice einrichten.

Mit dem Node kann ich dann aber kein NAS mehr erstellen, oder doch?
Auf diesem Node läuft zudem noch eine Octoprint VM - weil Drucker in der nähe mit USB verbunden

 

[sb-jw]

Der 3. Node ist zu vernachlässigen, da anderes Subnet (Smarthome). Dieser kann nur als quorum genutzt werden, da sonst IP Probleme, ...

Jeder günstige Switch kann heute mit VLANs umgehen. Eine Netztrennung physisch zu machen ist daher auch gar nicht mehr notwendig.

Dennoch sind auf allen Nodes Systeme, welche das NFS als Speicher für die VM/LXC nutzen, ...

Spätestens hier hast du doch wunderbar wieder alle Netze zusammengeführt, weshalb du effektiv keine wirkliche Netztrennung mehr hast. Da kannst du effektiv wirklich alle Nodes in ein Cluster werfen und dann besser per VLAN trennen. Dann kannst du auch alle Ressourcen vollständig nutzen.

Lange rede kurzer sinn: Kann ich nicht mithilfe eines scripts, das erneute einbinden der NFS shares realisieren?

Dein Blickwinkel ist der falsche. Du solltest dafür sorgen, dass die Shares vorab sauber unmounted werden und diese deaktivieren. Anschließend kannst du diese bei erneuter Verfügbarkeit wieder aktivieren und damit mounten lassen.
Ansonsten sollte ein Shared Storage auch niemals offline sein und eben auch nicht als VM auf dem gleichen Cluster laufen. Du merkst ja hier sehr deutlich, dass Proxmox VE halt auch nicht für den heimischen Energiesparmodus konzipiert ist sondern auf 24/7 ausgelegt ist.

Mit dem Node kann ich dann aber kein NAS mehr erstellen, oder doch?

Eigentlich nicht wenn der PBS drauf läuft. Du kannst aber natürlich auch wieder ein PVE einrichten und den PBS in eine VM packen.

Ich persönlich bin eh ein Freund von einer sauberen Lösung und würde daher auf solch ein wildes gefummel auch gänzlich verzichten. Einfach drei Nodes hingestellt, nen Switch mit VLAN Support und den PBS nebendran als Hardwarebüchse. Damit hat man alle Ressource nutzbar im gesamte Cluster, dank VLANs eine optimale Netztrennung ermöglicht und den PBS könnte man nochmal in ein Backup Netz stecken und so die Sicherheit des Netzwerkes weiter erhöhen.

 

[BassT]

@sb-jw du sprichst weise worte!

Alles hat mit einem "dummen" Layer 0 Netz angefangen, dann habe ich mit 2 Netgear Routern (DD-WRT) und 2 Managed Switches getrennte Netze aufgebaut.
Ja - sie sind intern verbunden und damit habe ich die Layer wieder übergangen *shame*
Ich bin leider kein Netzwerk Profi, sondern nur Endanwender mit kleinem budget.
Alles wächst und wächst, aber ich komme mit der ordnung nicht hinterher

Jetzt hab ich mal wieder Urlaub und möchte wieder bischen verbessern

Ich scheitere immer wieder daran den Trunk Port auf die Nodes zu bringen.

Du scheinst dich ja recht ordentlich auszukennen und würde mich freuen, wenn du mir beim Umbau helfen könntest.
Ich wäre sogar bereit dafür etwas zu "geben"



Node3 macht das NAS (SMB für alles was kein NFS kann - NFS für alle anderen)
R7000 <-> R6400 ist Trunked

 

[BassT]

Wir kommen aber vom Thema ab

Das die VM/LXC immer laufen ist mir bewusst. Auch das die NAS VM immer online sein muss ist mir bewusst und sogar erwünscht.
Auch das wenn die Shares von einer im Cluster befindlichen VM kommen absolut suboptimal ist, habe ich jetzt schmerzlich anerkannt
Dennoch würde ich es gerne (vorerst) so belassen.

Das eigentliche Problem ist nun, dass die NFS shares nicht wieder richtig eingebunden werden. Was muss passieren, ausser einem reboot des nodes, um die shares wieder zu mounten?

 

[BassT]

Lösung gefunden:

Den Dienst "NFS" in OMV deaktivieren -> speichern -> aktivieren -> speichern.
PVE bindet dann automatisch wieder ein