[SOLVED] Unable to activate storage.......does not exist or is unreachable

[inno-forum]

Hallo.

wir haben 5 Hosts und 4 Synology Storages.
Wir haben oft solchen Fehler bekommt → proxmox4 pvestatd[1351]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable
Wir haben bemerkt, dass oft während Backupszeit passiert ist.
Zusätzlich machen wir eine Replikation der Daten am Synology Ebene auf eine andere Storage
Auf diesem Storage sind ziemlich viele VM-Platten gespeichert, die durch Backup und Replikation zugegriffen werden sollen.

Um die Auslastung zu verringern, haben wir die Replikation während dir Backupszeit deaktiviert.
Seitdem sind die Meldungen weniger geworden.

Aber manchmal sind einige Fehler zu sehen.
Ich habe mir die Logs(Proxmox, Synology, Switch) angeschaut und gar nicht auffällig gesehen.

Was bedeutet die Meldung genau? (Wann wird angezeigt? Bei bestimmte Timeouts?)

Gibt eine geschickte Möglichkeit, der Fehler am Proxmox zu analysieren?

Danke

 

[inno-forum]

Davor passiert ein "got timeout".

Könnte daran liegen? → https://bugzilla.proxmox.com/show_bug.cgi?id=1309
Oder wurde "pvestatd" umgestellt?

 

[fiona]

Hi,
pvestatd wurde noch nicht in der Hinsicht überarbeitet. Wenn die Storage sehr überlastet ist, kann es zu dieser Meldung kommen:
https://git.proxmox.com/?p=pve-stor...2c08f41cb361f350aa46646cea0b0dd5bc99bd0#l1365
Sollte aber nicht kritisch sein.

 

[inno-forum]

Wir bekommen in der letzten Zeit weitere Fehler.
Die Storages sind nicht überlastet und man merkt keine Performance Problem.
Das Problem ist, dass "directory '/mnt/pve/xxx-NAS' does not exist or is unreachable" Fehler passiert und ab und zu die VMs sich neu starten.
(Windows Logs)

Anbei ein Beispiel
Windows-> vioscsi -> 8:18:01 ein Zurücksetzen auf Gerät "\Device\RaidPort0" wurde ausgegeben.
Proxmox

Jul 08 08:18:30 proxmox4 pvestatd[1381]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable

Jul 08 08:18:40 proxmox4 pvestatd[1381]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable

Jul 08 08:18:49 proxmox4 pvestatd[1381]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable


Windows -> Das System wurde zuvor am ‎08.‎07.‎2024 um 08:18:49 unerwartet heruntergefahren.

 

[fiona]

Wie schaut denn die Last auf Storage und Netzwerk als auch auf Proxmox VE Host aus? Das Timeout in pvestatd hat nix damit zu tun, ob die VM Probleme mit der Storage hat, die VM redet selbst mit der Storage. Das mit dem Reset ist vermutlich ein Bug in den VirtIO-Windows-Treibern, der auftreten kann, wenn die Storage zu langsam ist. Siehe: https://forum.proxmox.com/threads/what-is-kvm-desc-next-is-3-indicative-of.128739/#post-576685

 

[inno-forum]

Wie schaut denn die Last auf Storage und Netzwerk als auch auf Proxmox VE Host aus? Das Timeout in pvestatd hat nix damit zu tun, ob die VM Probleme mit der Storage hat, die VM redet selbst mit der Storage. Das mit dem Reset ist vermutlich ein Bug in den VirtIO-Windows-Treibern, der auftreten kann, wenn die Storage zu langsam ist. Siehe: https://forum.proxmox.com/threads/what-is-kvm-desc-next-is-3-indicative-of.128739/#post-576685

Konfiguration (sehe Bild )
Storage mit jeweils 2x 10 G/bit Ports. (Bond ist eingerichtet)
Proxmox mit jeweils 2x 10 G/bit Ports. (Bond ist eingerichtet)
Je Port geht zu einem eigenen Switch.
Switch sind zwei Strecken (STP) verbunden.



Proxmox
zwischen 8:00 -08:30 CPU ca. 23 %
zwischen 8:00 -08:30 Auslastung ca. 7 %
zwischen 8:00 -08:30 netin 32 M
zwischen 8:00 -08:30 netout 7 M


Netzwerk

Fehler am Proxmox waren um 08:18

Was ich von unser Monitortool rauslesen kann ist:
Switch Storage 1 zwischen 8:00 -08:35 keine Auslastung
Switch Storage 2 zwischen 8:13 - 08:38 Eine Proxmox Strecke(Proxmox5) war 87 % in Benutzung ca. 8.75Gbit/s (Beim Host(Proxmox4), wo die VM läuft war keine Auslastung)
Switch Storage 2 zwischen 8:13 - 08:38 STP Verbindung war 70 % in Benutzung ca. 7.05Gbit/s
Das ist der Wert während dem Check.
Was inzwischen war, kann ich nicht sagen.


Storage sehe Bild

---------------------------------------
"die VM redet selbst mit der Storage"

Während diesen Fehler "pvestatd[1381]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable"
Sieht man bei Storage "Aktiv → nein"
Kann die VM trotzdem auf den Speicher zugreifen?

Danke für die Hilfe

 

[fiona]

Netzwerk

Fehler am Proxmox waren um 08:18

Was ich von unser Monitortool rauslesen kann ist:
Switch Storage 1 zwischen 8:00 -08:35 keine Auslastung
Switch Storage 2 zwischen 8:13 - 08:38 Eine Proxmox Strecke(Proxmox5) war 87 % in Benutzung ca. 8.75Gbit/s (Beim Host(Proxmox4), wo die VM läuft war keine Auslastung)
Switch Storage 2 zwischen 8:13 - 08:38 STP Verbindung war 70 % in Benutzung ca. 7.05Gbit/s
Das ist der Wert während dem Check.
Was inzwischen war, kann ich nicht sagen.

Also doch nicht ganz wenig, was den Fehler von pvestatd erklären könnte. Der Timeout für das Zurücksetzen auf Gerät "\Device\RaidPort0" ist 60 Sekunden IIRC, könnte eher nur sein, wenn es einen längeren Burst gab. Im schon verlinkten Thread werden ein paar Workarounds erwähnt.

---------------------------------------
"die VM redet selbst mit der Storage"

Während diesen Fehler "pvestatd[1381]: unable to activate storage 'xxx-NAS' - directory '/mnt/pve/xxx-NAS' does not exist or is unreachable"
Sieht man bei Storage "Aktiv → nein"
Kann die VM trotzdem auf den Speicher zugreifen?

Während dieser Fehler auftritt, kann keine neue VM mit einer Disk auf der Storage gestartet werden (angenommen der qm start Prozess würde dann auch in das Timeout laufen, sobald er die Storage aktivieren will). Die Anzeige vom Storage-Status kommt von pvestatd, also wenn es dort den Timeout gibt, wird die Storage als inaktiv angezeigt. Aber eine VM, die schon läuft, macht ihre IO dann über QEMU -> Kernel -> NFS Client Code, hat nix mit dem Aktivieren von Storages auf Seite von Proxmox VE-Management/pvestatd mehr zu tun.