Probleme mit der Netzwerkverbindung in meinen Win10 VMs

[A2r900]

Hallo liebe Proxmox-Community,

Ich habe Probleme mit der Netzwerkverbindung in meinen Win10 VMs.

Nach der installation der Windowsumgebung und der Virtio Treiber nach Best Practice wird mein Netzwerk nicht immer auf Anhieb erkannt.
Falls es doch der Fall sein sollte, ist es mir möglich meiner Domäne beizutreten und das Internet normal zu nutzen.
Nach dem Beitritt ist es mir dann immer möglich mich mit meinem Login auf meiner Domäne einzuloggen, aber das Netzwerk wird nach jedem Neustart der VM in den seltenen Fällen erkannt oder in den meisten Fällen ist das Netzwerk nicht Identifizierbar.
In der Problembehandlung steht geschrieben, dass das Gateway nicht gefunden werden kann. In der ipconfig sind aber alle IPs korrekt eingetragen.
Der ping Befehl findet, je nach Neustart, mal den DNS Server oder den Gateway nicht, tracert schafft keinen hop.
Auch das deaktivieren der Firewall in der VM hat nicht geholfen und ich erkenne den Zusammenhang nicht.
Der Domänen Controller wird auch für eine VMware EXSi Umgebung verwendet und dort gibt es diese Problematik nicht.

Ist eventuell meine Netzwerkkonfiguration in meinen Nodes nicht richtig konfiguriert?


auto lo
iface lo inet loopback

iface eno4 inet manual

iface eno1 inet manual

iface eno2 inet manual

iface eno3 inet manual

auto ens4f0
iface ens4f0 inet manual
mtu 9000

auto ens4f1
iface ens4f1 inet manual
mtu 9000

auto ens2f0
iface ens2f0 inet manual
mtu 9000

auto ens2f1
iface ens2f1 inet manual
mtu 9000

auto bond0
iface bond0 inet manual
bond-slaves ens2f0 ens2f1 ens4f0 ens4f1
bond-miimon 100
bond-mode balance-xor
bond-xmit-hash-policy layer2+3
mtu 9000

auto bond0.70
iface bond0.70 inet static
address 192.168.70.11/24
mtu 9000


auto bond0.74
iface bond0.74 inet manual
mtu 9000

auto bond0.75
iface bond0.75 inet manual
mtu 9000

auto bond0.76
iface bond0.76 inet manual
mtu 9000

auto vmbr0
iface vmbr0 inet static
address 192.168.74.11/24
gateway 192.168.74.50
bridge-ports bond0.74
bridge-stp off
bridge-fd 0
mtu 9000

auto vmbr75
iface vmbr75 inet static
address 192.168.75.11/24
bridge-ports bond0.75
bridge-stp off
bridge-fd 0
mtu 9000

auto vmbr76
iface vmbr76 inet static
address 192.168.76.11/24
bridge-ports bond0.76
bridge-stp off
bridge-fd 0
mtu 9000


vmbr75 und 76 sind für die VMs vorgesehen und im 74er Netz (vmbr0) sollen nur Server/Service laufen.
Im bond0 werden vier 10Gib Glasfaseranschlüsse zu einem Verbund gebündelt.
bond0.70 ist mit der MSA über iSCSI verbunden.
Bond-mode balance-xor mit-hash-policy layer2+3 hat die besten Werte mit dem iperf3 Befehl ergeben (Bandbreite zwischen den Nodes).
Der Switch unterstützt Jumbo Frames und ist statisch konfiguriert und leitet den Netzverkehr zu den passenden VLANs.

Oder bin ich völlig auf der falschen Spur und es gibt in Proxmox per default Mechanismen, die den Internetverkehr stören können, wenn diese nicht richtig konfiguriert werden?

Vielleicht kann mir hier jemand weiterhelfen.
Vielen dank schonmal im Voraus.

 

[news]

mtu 9000 überall? und was ist mit den VLAN Pakete on top?

 

[Falk R.]

Ist denn bei VMware auch alles mit MTU 9000? Wie ist der Switch konfiguriert? Hast du mal einen Jumbo Ping getestet?

 

[A2r900]

Vielen dank für das Interesse.

Meine ping Tests zu MTU 9000 haben ergeben, dass zwischen den Nodes die Jumbo Pakete problemlos versendet werden können.
Der Ping auf eine VM IP-Adresse hatte mit der Größe des Pakets probleme.
Ist es unüblich die MTU auf den gesamten Weg vom Interface bis zur bridge auf 9000 zu setzen oder reicht es nur auf der Bridge aus und die übrigen Komponenten bekommen den Wert 1 zum Durchleiten?
Da bin ich noch am experementieren und zur Frage nach der Switch konfiguration muss ich mich noch genauer auseinandersetzen.

Das mit den VLAN Paketen on top habe ich leider nicht verstanden.
Soll ich versuchen mit geringeren Werten anstatt 9000 zu setzen, weil VLAN auch eine gewisse Größe im Paket einnimmt?

Zur Problematik mit der unzuverlässigen Internetverbindung bin ich vermutlich weitergekommen, nachdem ich meine Schritte zurück verfolgt habe.
Anscheinend macht der DCP probleme, wenn änderungen an den Netzwerkeinstellungen vorgenommen werden ohne dabei eine neue MAC Adresse an die Netzwerkkarte der VM zu vergeben.
In meinem Fall lief vorher meine default bridge über eine 1Gbits Ethernet Leitung und ich habe dann den Port auf den bond0.74 umgestellt.
Nach dem zurücksetzen auf die 1Gbits Ethernet Leitung und dem vergeben einer festen VM IP-Adresse und der verbannung der MAC Adresse aus dem DHCP, kam eine stabile Netzverbindung zu stande.
Ich werde die Tage noch weitere Tests durchführen und euch auf dem laufenden halten, falls da noch das Interesse besteht.

 

[Falk R.]

Da du anscheinend nicht verstanden hast, was die vergrößerung der MTU mit sich bringt, solltest du die Finger davon lassen.
Im IP Grundlagen Unterricht haben wir mal gelernt wie ein IP Paket aussieht. Wenn VLAN Tags benutzt werden dann kommen da zusätzliche Bytes an das Paket dran. Deshalb haben Switches eine MTU von 9128 oder mehr wenn man Jumbo aktiviert.

Am besten guckst du dir erst einmal an was du da konfiguriert hast, mit falschen MTU Einstellungen kannst du dein Netz total instabil machen, denn nicht jedes Paket ist gleich groß, deshalb geht es manchmal und dann wieder nicht.

 

[A2r900]

Ich werde mir die Grundlagen genauer anschauen und die mtu9000 aus der Konfigurationdatei entfernen.
Gibt es sonst Unstimmigkeiten in den Einstellungen die ich verbessern könnte?

 

[Falk R.]

Ich weiß nicht wofür du die ganzen Bridge Ports bei deinen VLANs brauchst. Auch die mehreren Interfaces in den verscheidenen VLANs.

Das du dein Storage ohne Redundanz auf einem Bond Interface fährst ist absolut nicht optimal.
1. Bond ist bei iSCSI nicht supportet (zumindest von keinem Hersteller den ich kenne)
2. Sollte man zwei NICs in zwei getrennten Netzen mit verschiedenen IP Kreisen und Multipathing bei iSCSI nutzen.
3. Ich baue keine VLAN Bridges sondern nutze VLAN Aware und trage die VLAN ID bei der VM NIC ein. Bei größeren Setups dann mit SDN.
4. balance-xor würde ich nur verwenden wenn der Switch kein LACP kann und das habe ich seit mindestens 15 Jahren nicht mehr gesehen. Am besten LACP nutzen, und bei der Policy schauen was für einen Traffic du fährst. Oft ist Layer 3+4 am besten.

 

[A2r900]

Herzlichen Dank für das Feedback.
Es ist toll, sich mit Personen auszutauschen, die in dem Thema bewanderten sind.
Ich werde mich morgen an die Umsetzung machen.