Derzeit haben wir Probleme mit unserem Netzwerk und wir vermuten, dass es mit der Vernetzung des Clusters+Storage zusammenhängt. Hier einmal unser Setup:
Wir besitzen ein PVE Cluster bestehend aus 3 Nodes. Diese Nodes besitzen alle eine 1G Onboard-Schnittstelle und haben alle jeweils eine zusätzliche 10G Intel-Netzwerkkarte verbaut.
Über die 1G-Schnittstelle sind die Nodes an das Firmennetz angeschlossen, hierüber läuft der Zugriff auf die Weboberfläche der Nodes, über diese 1G-Schnittstelle läuft die VM-Bridge (vmbr0).
Die beiden Interfaces der Netzwerkkarte sind über ein getrenntes Subnetz mit einem NAS verbunden. Die Interfaces agieren als Bond.
Derzeit sind ca. 20 VMs auf dem Cluster aktiv, deren disks befinden sich auf der hinterlegten NFS-Freigabe des NAS.
Das NAS (TrueNas Server) besitzt 2 10G-Netzwerkkarten, welche mittels link aggregation (im Modus load balance) an das "10G-Subnetz" angeschlossen sind.
Auch das NAS besitzt ein 1G-Interface, welches mit dem Firmennetz verbunden ist, um einen Zugriff auf das TrueNas-WebGUI zu gewährleisten.
Szenario: Wir wollten nun eine VM-disk, welche zuvor auf einem lokalen Node abgespeichert war, auf das NFS-Storage migrieren.
Der benutzte Befehl: qm importdisk VMID /mnt/pve/local/images/VMID/vm-VMID-disk-0.raw TrueNasServer1 --format raw
Damit sollte eigentlich die lokale disk auf das NAS über die 10G-Anbindung gespiegelt werden. Hierbei stellten wir fest, dass die Kommunikation innerhalb des Firmennetzes mit anderen VMs der PVE massivst eingeschränkt war. Dadurch steht die Vermutung im Raum, dass der abgesetzte Befehl die Verbindung über die 1G-VM-Bridge an das Storage verwendet hat und hierbei den Verkehr im Firmennetz beeinflusst hat. Kann man dies proxmoxseitig genauer überprüfen bzw. muss die Konfiguration angepasst werden, damit der Austausch der Nodes mit dem NAS über das 10G Subnetz erfolgt?
Mittels iperf3 wurde bereits erfolgreich geprüft, ob die Kommunikation zwischen Nodes und NAS mit einer Bandbreite von 10G möglich ist. Die Interfaces können also prinzipiell miteinander kommunizieren.
Wir besitzen ein PVE Cluster bestehend aus 3 Nodes. Diese Nodes besitzen alle eine 1G Onboard-Schnittstelle und haben alle jeweils eine zusätzliche 10G Intel-Netzwerkkarte verbaut.
Über die 1G-Schnittstelle sind die Nodes an das Firmennetz angeschlossen, hierüber läuft der Zugriff auf die Weboberfläche der Nodes, über diese 1G-Schnittstelle läuft die VM-Bridge (vmbr0).
Die beiden Interfaces der Netzwerkkarte sind über ein getrenntes Subnetz mit einem NAS verbunden. Die Interfaces agieren als Bond.
Derzeit sind ca. 20 VMs auf dem Cluster aktiv, deren disks befinden sich auf der hinterlegten NFS-Freigabe des NAS.
Das NAS (TrueNas Server) besitzt 2 10G-Netzwerkkarten, welche mittels link aggregation (im Modus load balance) an das "10G-Subnetz" angeschlossen sind.
Auch das NAS besitzt ein 1G-Interface, welches mit dem Firmennetz verbunden ist, um einen Zugriff auf das TrueNas-WebGUI zu gewährleisten.
Szenario: Wir wollten nun eine VM-disk, welche zuvor auf einem lokalen Node abgespeichert war, auf das NFS-Storage migrieren.
Der benutzte Befehl: qm importdisk VMID /mnt/pve/local/images/VMID/vm-VMID-disk-0.raw TrueNasServer1 --format raw
Damit sollte eigentlich die lokale disk auf das NAS über die 10G-Anbindung gespiegelt werden. Hierbei stellten wir fest, dass die Kommunikation innerhalb des Firmennetzes mit anderen VMs der PVE massivst eingeschränkt war. Dadurch steht die Vermutung im Raum, dass der abgesetzte Befehl die Verbindung über die 1G-VM-Bridge an das Storage verwendet hat und hierbei den Verkehr im Firmennetz beeinflusst hat. Kann man dies proxmoxseitig genauer überprüfen bzw. muss die Konfiguration angepasst werden, damit der Austausch der Nodes mit dem NAS über das 10G Subnetz erfolgt?
Mittels iperf3 wurde bereits erfolgreich geprüft, ob die Kommunikation zwischen Nodes und NAS mit einer Bandbreite von 10G möglich ist. Die Interfaces können also prinzipiell miteinander kommunizieren.
