10GB super langsam

[shb256]

Hallo,

ich habe einen nicht sehr homogenen Proxmox Cluster
Server 1 -Einen aktuellen Dell Server mit AMD EPIC
Server 2 - Einen mäßig alten Intel irgendwas und
Server 3 - einen alten HP Proliant Gen8

Ich habe in jedem Rechner zusätzlich eine 10GB Netzwerkkarte mit zwei Ports und dann mittels Boradcast jeden Server miteinander verbunden.
Netzwerk aktionen von und zu Server 3 sind furchtbar langsam über 10GB.

root@pve01:~# iperf -c 10.200.10.102
------------------------------------------------------------
Client connecting to 10.200.10.102, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  1] local 10.200.10.101 port 54456 connected with 10.200.10.102 port 5001 (icwnd/mss/irtt=14/1448/938)
[ ID] Interval       Transfer     Bandwidth
[  1] 0.0000-10.1244 sec   163 MBytes   135 Mbits/sec

manchmal schaft er auch 500 Mbits, das war es dann aber auch schon.
Über den normale 1GB schafft er 979Mbits

Nun stellt sich mir die Fragen, warum über die dezidierte direkt Verbindung, das Netzwerk so langsam ist.
In dem Rechner ist noch eine zweite 10GB Netzwerkkarte -> gleiches Problem.

An welcher Stelle kann ich suchen?

Danke

 

[Falk R.]

Das klingt nach einem Problem deiner Netzwerkkonfiguration.
Ich persönlich halte eh nicht viel von den gerouteten Direktverbindungen. Ich kaufe mir dann lieber für 100€ nen kleinen 10G Switch.

 

[news]

Tipp ethtool <eth-device> mal checken

 

[news]

Was meinst Du damit "Boradcast jeden Server miteinander verbunden"? Kenn ich nicht.

 

[shb256]

> Tipp ethtool <eth-device> mal checken

ethtool  vmbr1
Settings for vmbr1:
        Supported ports: [  ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: 10000Mb/s
        Duplex: Unknown! (255)
        Auto-negotiation: off
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Link detected: yes

>Was meinst Du damit "Boradcast jeden Server miteinander verbunden"? Kenn ich nicht.
Ja genau, da braucht man bei drei server nicht extra einen switch

 

[news]

Du könntest für die Leser noch deine Netzwerkkonfig zeigen:

$ cat /etc/network/interfaces

Danke für die vmbr1 Info, das ist ein virtueller Switch ohne reale Netzwerkkarte?

Dann wird die immer mit 10 GBit/s angezeigt.

 

[Falk R.]

Broadcast ist aber auch nicht so doll, das reduziert schon die Bandbreite, da jedes Paket überall hin geschickt wird und somit 50% des Traffics verworfen werden.
Ich investiere lieber 150€ für nen kleinen Switch.

 

[shb256]

Broadcast ist aber auch nicht so doll, das reduziert schon die Bandbreite, da jedes Paket überall hin geschickt wird und somit 50% des Traffics verworfen werden.
Ich investiere lieber 150€ für nen kleinen Switch.

Hast du eine Empfelung?
Ich hatte hier einen Gebrauchtene LWL Switch, der macht mehr Lärm als die drei Rechner zusammen

cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface ens1f0 inet manual

iface ens1f1 inet manual

auto ens1f2
iface ens1f2 inet manual

auto ens1f3
iface ens1f3 inet manual

auto ens3f0
iface ens3f0 inet manual

auto ens3f1
iface ens3f1 inet manual

auto eno1
iface eno1 inet manual

auto eno2
iface eno2 inet manual

auto bond1
iface bond1 inet manual
        bond-slaves eno1 eno2
        bond-miimon 100
        bond-mode broadcast

auto vmbr0
iface vmbr0 inet static
        address 172.16.1.102/24
        gateway 172.16.1.1
        bridge-ports ens1f0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet static
        address 10.200.10.102/24
        bridge-ports bond1
        bridge-stp off
        bridge-fd 0

 

[Falk R.]

Für das kleine Setup zuhause der MikroTik CRS305, für mehr Server der CRS309.
Ich habe zuhause einen CRS504, aber das braucht niemand zuhause.