100G / 40G interne Netzstruktur mit schlechten iperf3 Resultaten

pve2 zu pve1 hat falsche ip. und bitte nochmal pings von den test1 und test2 zu jeweils pve1 und pve2.
 
otherwisegg said:
auto vmbr0
iface vmbr0 inet static
address 192.168.102.1/22
gateway 192.168.100.254
bridge-ports enp129s0f1np1
bridge-stp off
bridge-fd 0

auto vmbr1
iface vmbr1 inet static
address 192.168.233.1/24
bridge-ports enp129s0f0np0
bridge-stp off
bridge-fd 0
#Server Cross

auto vmbr2
iface vmbr2 inet static
address 192.168.240.1/24
bridge-ports enp161s0f0np0
bridge-stp off
bridge-fd 0
Click to expand...
Also die Cross Verbindung ist ja nur für den Cluster, Live Migration und eventuell ZFS Replika.
Da dann bitte keine vmbr nutzen, da diese deinen Traffic auf ca 40 GBit limitiert.
Bei den Migration Settings unter Datacenter hast du bestimmt das richtige Netzwerk angegeben, da bitte auf insecure setzen, da der Traffic bei einer Direktverbindung nicht verschlüsselt sein muss und die Verschlüsselung auch stark bremst, je nach Single Core Performance der CPU.

Da der Rest des setups sauber aussieht, schildere mal die Probleme mit den Windows Servern genauer. Eventuell fehlt uns nur ein Detail um auf die richtige Idee zu kommen.
 
Moin, versuche mal iperf über udp. Ggf. kleinere Werte mit --length für die Paketgröße angeben. Wie sehen die MTU-Werte der TestVMs aus?
 
Falk R. said:
Also die Cross Verbindung ist ja nur für den Cluster, Live Migration und eventuell ZFS Replika.
Da dann bitte keine vmbr nutzen, da diese deinen Traffic auf ca 40 GBit limitiert.
Bei den Migration Settings unter Datacenter hast du bestimmt das richtige Netzwerk angegeben, da bitte auf insecure setzen, da der Traffic bei einer Direktverbindung nicht verschlüsselt sein muss und die Verschlüsselung auch stark bremst, je nach Single Core Performance der CPU.

Da der Rest des setups sauber aussieht, schildere mal die Probleme mit den Windows Servern genauer. Eventuell fehlt uns nur ein Detail um auf die richtige Idee zu kommen.
Click to expand...
Wir haben einige Windows VMs. Als Beispiel nehmen wir jetzt den file-1, welcher bereits Daten migriert bekommen hat, aber noch nicht im Einsatz ist.
Folgende Konfiguration ist im Einsatz:

1740745991711.png
1740746008908.png
1740746026589.png

Hier haben wir folgende iperf Resultate wenn wir den eigenen pve01 Host (192.168.102.1) ansprechen:

1740746097166.png

Kommen wir z.B zum Server app5:
1740746125600.png1740746142035.png

Hier erzielen wir beim gleichen iperf Test folgende Resultate:
1740746193863.png


Falk R. said:
Da dann bitte keine vmbr nutzen, da diese deinen Traffic auf ca 40 GBit limitiert.
Click to expand...
Du meinst die vmbr für die Crossverkabelung? Da würde ich das Netzwerk ja nicht für VMs nutzen sondern für Replikation, korrekt?
Den Mode von secure auf insecure, ist dafür nen Neustart nötig? Muss ja so wie ich es sehe via CLI passieren.

Tatsächlich ist unter Replikation kein Netzwerk angegeben, da würde ich jetzt die Crossverkabelung nutzen.
 
Last edited:
mit iperf3 -u -b 100G -c 192.168.102.1 sollte der Durchsatz steigen.

MTU auf der vmbr0 auch 1500?
 
Last edited:
Jumboframes würde ich erstmal hinten anstellen.
Du bekommst also mit UDP auf jeden Fall Traffic. Versuche mal bitte noch mal

Code: 
iperf3 -c 192.168.102.1 -P 8
 
Unten die beiden SUM zeilen sind wichtig. Aber jetzt bekommst du doch Traffic mit TCP auf die Leitung. Für mich sieht eher nicht nach einem Problem in der Netzwerkstruktur aus, sondern nach einem Softwareproblem mit iperf3.
 
nodau said:
Unten die beiden SUM zeilen sind wichtig. Aber jetzt bekommst du doch Traffic mit TCP auf die Leitung. Für mich sieht eher nicht nach einem Problem in der Netzwerkstruktur aus, sondern nach einem Softwareproblem mit iperf3.
Click to expand...
Das hatte ich glaub schon in einem Reply auf Seite 1 erwähnt, dass nach einem Tausch der MAC-Adressen (Also Test1 MAC bekommt Test2, und Test2 MAC bekommt Test1) wir Traffic auf beiden Maschinen durchbekommen. Leider nichtmal annähernd die Geschwindigkeiten von 100G die wir uns vorstellen.

Das Problem besteht weiterhin bei den Windows Maschinen.
Kennst du alternativen für iperf?
 
Habe jetzt mal bei mir eine debian 12 vm erstellt. Allerdings ohne Cluster und nur mit 10GB. Auf dem selben Gerät von test zu pve
1740750194045.png
und von pve zu test
1740750226355.png

1740750304913.png

Hilft jetzt zwar nicht direkt, aber hast du mal bei der test vm den Hostprozessor versucht. Ich kanns leider nicht testen, da Intel. Und wenn die VM auf dem selben Host läuft, dann sollte die Netzwerkgeschwindigkeit irrelevant sein. Die einzige Komponente, die bei mir annähernd diese Geschwindigkeiten erreicht, ist der RAM.

Was sagt denn
Code: 
iptables -L -v
?
 

Attachments

  • 1740750815449.png
    1740750815449.png
    15.5 KB · Views: 0
Ich hab jetzt nicht den ganzen Thread durchgelesen, aber vielleicht hiflt der Hinweis: iperf3 in den Versionen wie man sie mit Proxmox VE 8 / Debian 12 bekommt, ist nicht multithreaded!
Aus man iperf3:
-P, --parallel n
number of parallel client streams to run. Note that iperf3 is single threaded, so if you are CPU bound, this will not yield higher throughput.
Click to expand...

Und wenn es um schnelle Netze geht, muss man da mitunter mit mehr als einem Thread testen. Deshalb vielleich auch mal mit iperf (ohne 3) und dem -P Parameter mal testen.
 
Wir haben jetzt noch einiges umgestellt, die Netzwerkkarten ausgetauscht mit neuen & die gesamte Infrastruktur neugestartet inklusive allen Clients und jetzt erreichen wir 60-80G. Woran es letzendlich lag, Sehr gute Frage. Wir testen die NICs jetzt seperat nochmal durch.

Ich bedanke mich bei euch für die fleißige Hilfe und vielleicht hätten wir uns das komplett erspart wenn wir die NICs schon früher eingebaut hätten, aber welcher Kunde bestätigt schon ~500€ ohne Troubleshooting vorher :)

Liebe Grüße mit ein bisschen Frust aus Hannover,

Benjamin
 
  • Like
Reactions: Johannes S
otherwisegg said:
View attachment 83072
Click to expand...
Für Windows 2022 und neuer empfehle ich nicht den x86-64 CPU Typ zu nutzen. Da zickt windows ab und zu, bei Server 2025 gibt#s noch deutlich mehr Probleme.
Am besten immer CPU Typ host nutzen, außer du hast einen heterogenen Cluster und dann den kleinsten gemeinsamen Nenner der CPUs nutzen.
otherwisegg said:
Du meinst die vmbr für die Crossverkabelung? Da würde ich das Netzwerk ja nicht für VMs nutzen sondern für Replikation, korrekt?
Click to expand...
Jupp.
otherwisegg said:
Den Mode von secure auf insecure, ist dafür nen Neustart nötig? Muss ja so wie ich es sehe via CLI passieren.
Click to expand...
Nein einfach in der /etc/pve/datacenter.cfg ändern. Wenn du vorher in Der GUI das Netzwerk eingestellt hast, brauchst du nur in vor dem secure eintippen. ;)
otherwisegg said:
Tatsächlich ist unter Replikation kein Netzwerk angegeben, da würde ich jetzt die Crossverkabelung nutzen.
Click to expand...
Also unter Datacenter > Options > Migration Settings auswählen. Am besten die IP direkt vergeben ohne Bridge.
 
You must log in or register to reply here.
Top Bottom