[SOLVED] Proxmox Cluster geteilter ISO-Storage mittels NFS-Share und TrueNAS

[mbuecherl]

Guten Tag Zusammen,

wir betreiben 3 Proxmox Knoten (pve01, pve02, pve03) in einem Cluster und unsere bisherige Storage Konfiguration hatte einen Storage, für ISO-Dateien pro Knoten.

Wir wollten das ganze etwas optimieren und haben jetzt eine TrueNAS VM erstellt, welche wir als NFS Storage eingebunden haben. Diese VM läuft auf pve03, welcher auch auf den Storage zugreifen kann. Jedoch können pve01 und pve02 nicht auf den Share zugreifen, auch wenn ich den Befehl

pvesm scan nfs <IPv4 von TrueNAS>

auf pve01 und pve02 ausführe, dann bekomme ich einen Timeout.

Wir haben auch schon die entsprechenden Ports für NFS in der Proxmox Firewall freigegeben und auch zum 10ten mal geprüft. Desweiteren ist die TrueNAS VM von allen Knoten aus ping bar.

 

[floh8]

Welche IPS dürfen denn laut NFS config auf das share zugreifen?

 

[Falk R.]

Wie ist der Datastore im Datacenter eingestellt?

 

[mbuecherl]

@floh8 Aktuell können alle LAN-Adressen auf den NFS Share zugreifen.

@Falk R. Ich habe einen Screenshot von der Storage Konfiguration eingefügt.

 

[Mason]

hm können die 2 anderen hosts den namen auflösen? also pandora?

 

[mbuecherl]

@Mason Ja, die anderen beiden Nodes können den Namen auflösen und auch pingen.

 

[floh8]

Firewall dazwischen?

 

[Mason]

hast du mal geprüft ob ein normaler rechner drauf zugreifen kann? also etwa ein client der außerhalb der hosts is im selben netzwerk?
Laut deinem Post ist der NFS ja freigegeben für das gesammte Netzwerk, daher müsste ja auch ein Client drauf zugreifen können, grenzt vielelicht den Fehler etwas ein.

 

[mbuecherl]

Wir haben auch schon die entsprechenden Ports für NFS in der Proxmox Firewall freigegeben und auch zum 10ten mal geprüft. Desweiteren ist die TrueNAS VM von allen Knoten aus ping bar.

Also ja, es sind Firewalls dazwischen, jedoch haben wir auf jeder Firewall die Ports freigegeben.

 

[floh8]

Ach ja stimmt, dann denke ich habt ihr Fehler in der firewall config. Mach doch mal ein telnet von den nodes auf den NFS port!

 

[mbuecherl]

Also wir haben mittlerweile die Lösung für unser Problem gefunden.

Für die Lösung haben wir das TrueNAS so konfiguriert, dass es NFSv4 verwendet, da NFSv3 bis zu 6 Ports verwendet (wovon 2 statisch sind und 4 welche dynamisch belegt werden). Desweiterne musste auch der Storage so konfiguriert werden, dass er NFSv4 verwendet, danach hat alles funktioniert.

Vielen Dank für die Hilfe.

 

[Falk R.]

Dynamic Ports ist immer ein Spaß bei Firewalls.
Eventuell mal das Netzwerkdesign überdenken und die PVE und NAS in ein gemeinsames Layer2 Netzwerk packen und den Zugriff auf das Netzwerk limitieren. Das veringert die Fehlerquellen deutlich.