Proxmox verliert Verbindung zu SMB-Share auf Unraid

[urs]

Hallo zusammen,

Wie der Titel schon sagt verlieren 2 Proxmox VE-Maschinen immer wieder die Verbindung zu einem Unraid-Server. Es wurden 2 SMB-Shares darauf angelegt und unter Proxmox eingebunden was grundsätzlich gut funktioniert. Das bis die Verbindung zum Unraid-Server mal abbricht, z.B. wenn dieser mal neu gestartet werden muss. Danach bleiben bei beiden Proxmox-Maschinen die beiden Verbindungen auf "status unknown", haben ein Fragezeichen und beim Versuch darauf zuzugreifen kommt folgende Meldung: .

Natürlich werden auch keine Backups gemacht (was am störendsten ist) oder LXCs welche Daten darauf haben werden nicht gestartet, laufen nicht oder nicht richtig usw.Meldung beim Backup:

Das so lange bis ich den ganzen proxmox-node neu starte, dann ist wieder alles gut bis zum nächsten Verbindungsunterbruch zum Unraid. Reproduzierbar unter Proxmox VE V9.2.11, 9.2.10 und weiter zurück...wie weit zurück weiss ich nicht mehr.

Ist das ein bekanntes Problem? Wie kann ich es lösen?

Hab vorerst eine Gotify-Meldung eingerichtet welche aktiv wird wenn ein Backup fehler meldet und starte dann den Node neu, ist aber irgendwie nur eine Krücke, keine richtige Lösung...

Vielen Dank und Gruss

 

[Bu66as]

Hallo @urs, das ist kein PVE-Bug sondern der klassische hängende CIFS-Mount: wenn der Server unter einem hart gemounteten Share wegbricht, blockiert der Kernel jeden Zugriff auf /mnt/pve/UN_26_Prox endlos. pvestatd rennt genau da rein, deshalb das Fragezeichen, und der Mount kommt von allein nicht zurück, auch wenn Unraid längst wieder online ist. Deshalb hilft nur der Reboot.

Statt Node-Neustart reicht normalerweise das:

systemctl stop pvestatd
umount -f -l /mnt/pve/UN_26_Prox
umount -f -l /mnt/pve/UN_27_ProxJamna
systemctl start pvestatd

Danach mounted PVE die Shares von selbst wieder ein. Kannst du dir auch als kleines Skript an deine Gotify-Meldung hängen, ist immer noch Krücke, aber ohne Downtime der Gäste.

Dauerhaft würd ich in der /etc/pve/storage.cfg beim CIFS-Storage mal options soft probieren, dann geben Zugriffe einen Fehler statt zu hängen. Beim Backup-Ziel heisst das halt abgebrochenes Backup statt toter Node, aber das ist mir lieber. Welche SMB-Version fährst du denn und mountest du per DNS-Namen oder IP? Falls Unraid bei dir NFS anbietet, erholt sich das nach so nem Abriss deutlich zuverlässiger als CIFS. Hab ich bei genau dem Szenario schon öfter gesehen.

 

[urs]

Vielen Dank für deine Antwort.

Dauerhaft würd ich in der /etc/pve/storage.cfg beim CIFS-Storage mal options soft probieren, dann geben Zugriffe einen Fehler statt zu hängen.

einfach options soft unten an jedem der beiden shares anhängen? Und dann sollte der share wieder da sein wenn verfügbar ohne unmounten oder den node neu starten zu müssen?

Gemountet wird per IP, mit DNS tu ich mich schwer...
SMB vermutlich V2, hab ich nichts explizit ausgewählt, weder auf Proxmox noch auf Unraid (bin mir aber grad nicht mehr sicher ob ich V1 auf Unraid mal für etwas aktivieren musste.) In der storage.cfg steht nichts drin also V2? Oder wo finde ich welche version grad benutzt wird?

NFS wollte ich mir eigentlich nicht antun...wenn es aber den Share nach Verbindungsunterbrüchen ohne zu hängen wieder einbindet kann ich es mal in einer ruhigen Minute einrichten und probieren...

Vielen Dank und Gruss

 

[ThoSo]

Wenn beim smb Mount keine Version angegeben wird, wird das ausgehandelt.
SMB V3 wäre sinnvoll, da auch schneller als v2. Dazu aber mal beim NAS prüfen was hier für SMB als min und max angegeben ist, sofern das überhaupt angezeigt wird.

 

[jim_os]

Moin

Oder wo finde ich welche version grad benutzt wird?

In der Shell:

mount | grep cifs

eingeben. Ergebnis (hier zwei SMB-Mounts):



Du solltest klären warum bei Unraid die SMB-Verbindung abbricht, denn das dürfte vermutlich halt nicht an PVE liegen. Zumindest habe und hatte ich damit hier mit ganz unterschiedlichen SMB-Mounts (Synolgy NAS, OMV, Asus Router, Fritzbox) noch nie ein Problem. Wobei sich das "nie" auf die letzten rund 5 Jahre mit PVE bezieht.

Edit: Auch wenn ich Unraid nicht nutze, aber auch bei Unraid kann (oder konnte) man die genutzte SMB-Version auswählen. Was notwendig war falls man ggf. noch alte Geräte einsetzt die nur SMB1 können.

VG Jim

 

[urs]

Dazu aber mal beim NAS prüfen was hier für SMB als min und max angegeben ist, sofern das überhaupt angezeigt wird.

Danke. Muss ich mal schauen...im Normalfall aktiviere ich alles ab V2.

aber auch bei Unraid kann (oder konnte) man die genutzte SMB-Version auswählen. Was notwendig war falls man ggf. noch alte Geräte einsetzt die nur SMB1 können.

Genau. Bis zu einer gewissen Version konnte es V1 out of the Box, irgendwann wurde das standardmässig deaktiviert und man konnte es irgendwie aktivieren.Wie geschrieben, ich hatte ein Gerät das nur V1 konnte und wollte und dafür musste ich V1 explizit aktivieren, ist aber inzwischen ausgemustert. Kann aber sein dass V1 trotzdem auf Unraid noch aktiviert ist. Muss ich mal schauen... Aber das sollte doch auf mein Problem keinen Einfluss haben, oder doch?

In der Shell: mount | grep cifs

Danke. Demnach läuft es auf 3.1.1. sehe aber immer noch nicht was das mit meinem eigentlichen Problem zu tun haben könnte. Kann mich jemand aufklären?

Du solltest klären warum bei Unraid die SMB-Verbindung abbricht, denn das dürfte vermutlich halt nicht an PVE liegen.

Natürlich liegt das nicht an PVE. Ein Grund warum die Verbindung abbricht habe ich ja bereits genannt:

wenn dieser mal neu gestartet werden muss.

Gemeint ist der Unraid-Server z.B nach einem Update oder bei Problemen...Weitere Gründe für Verbindungsunterbrüche sind: Ein Proxmox ist über Wireguard am Hausnetz und somit am Unraid angeschlossen. Wenn jetzt im Hausnetz am Router ein Update stattfindet oder am WG-LXC oder das WG-LXC aus irgend einem Grund gestoppt und wieder gestartet wird, oder am entfernten Standort am WG oder Router ein Update gemacht wird oder sonst was am WG oder Router ist oder ein Stromausfall an einem der beiden Orte stattfindet oder oder oder...dann sind alle Geräte erstmal unhappy, erholen sich aber wieder alle ohne weitere Eingriffe meinerseits. Alle sind sobald die Verbindung wieder steht happy und senden/holen fröhlich Daten zum/vom Unraid. Nicht so PVE, das stellt einfach den dienst ein und macht gar nichts mehr bis jemand (ich) ihm wieder sage, hey, deine shares sind längst wieder online.
Das Erste mal wurden nach einem solchen Unterbrch 2 Wochen lang keine Backups gemacht bis ich zufällig da rein geschaut habe...schwein gehabt das in der Zeit nichts passiert ist. Das Szenario hab ich inzwische auch mit besagter Gotify-Meldung abgefangen, aber es ist trotzdem extremst mühsam solchen Geschichten dann nachlaufen zu müssen...solche Sachen sollte das System gefälligst selber wieder auf die Reihe kriegen...ist zumindest meine Erwartungshaltung . Erwarte ich zu viel?

Nur zum klar stellen: Ich kann gut damit leben wen mal ein Backup nicht gemacht wird weil gerade da die Verbindung weg war. So redundant dass das nicht passieren kann, kann und will ich das System gar nicht auslegen. Aber wenn die Verbindung wieder steht würde ich schon erwarten dass PVE im idealfall dort weiter macht wo es gescheitert ist oder aber zumindest beim nächsten cron job wieder normal seine Aufgaben erlediget...was leider nicht der Fall war...vielleicht ändert das mit options soft oder allenfalls NFS, hatte noch keine Zeit es einzurichten und zu testen...

Danke allen und schönen Sonntag

 

[jim_os]

Nicht so PVE, das stellt einfach den dienst ein und macht gar nichts mehr bis jemand (ich) ihm wieder sage, hey, deine shares sind längst wieder online.
....
solche Sachen sollte das System gefälligst selber wieder auf die Reihe kriegen...ist zumindest meine Erwartungshaltung

Tut es auch. Wie bereits geschrieben dürfte das vermutlich an Unraid liegen und ich vermute mal das man dazu in irgendeinem Unraid Forum auch Infos finden sollte. Wie ebenfalls bereits geschrieben habe oder hatte ich hier keine Probleme damit wenn ein per SMB Mount als Storage unter PVE mal nicht da ist, weil es - wie in Deinen Beispielen genannt - z.B. nach einem Update mal neu gebootet und gestartet wird. Aktuell läuft hier PVE 9.2.10. Ich habe das eben extra noch einmal für Dich mit einem Synology NAS durchgetestet.

Also bei dem NAS einen Neustart gemacht. Bis das Synology NAS dann neu gebootet hat und wieder da ist, dauert es bei einem Synology NAS bekanntlich mehrere Minuten. Während der Zeit meldet PVE das das Storage nicht verfügbar ist.




Da das NAS auch noch gleichzeitig ein NUT Server ist kommt eben auch noch zusätzlich die Meldung das UPS keine Verbindung zu dem NUT Server - das NAS - herstellen kann. Nach in dem Fall ca. 4 Minuten wurde das NAS neu gebootet und gestartet und es kommt die Meldung das der NUT Server auf dem NAS wieder erreichbar ist.



Gleichzeitig und automatisch ist das NAS auch wieder per SMB Mount als Storage unter PVE vorhanden.



Auch mit dem "NAS" meiner Fritzbox, das ebenfalls per SMB bei Proxmox als Storage eingebunden ist, gibt es da keinerlei Probleme wenn die FB mal neu gebootet wird. PVE stellt die SMB-Verbindung dazu dann auch wieder automatisch her.

Da ich aber - wie auch schon geschrieben - Unraid nicht nutze weiß ich halt nicht wo da das Problem mit/bei Unraid liegt. Vielleicht kennt sich hier ein anderer User ja mit Unraid aus und - sofern noch nicht gemacht - würde ich danach mal in irgendeinem Unraid Forum suchen und ggf. fragen.

VG Jim