Wünschenswert: Anzeige der NIC-Geschwindigkeit

[GMBauer]

Erster Eindruck: Der Switch zeigt für die Verbindung zum PVE kein 2,5-GBit-Lichtlein...

root@pveserver:~# ethtool nic0
Settings for nic0:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Link partner advertised pause frame use: Symmetric Receive-only
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 100Mb/s <-------------------------------- Da ist die Sau...
Duplex: Full
Auto-negotiation: on
master-slave cfg: preferred slave
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: pumbg
Wake-on: d
Link detected: yes

##########################################

root@pveserver:~# ip -s link show nic0
2: nic0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master vmbr0 state UP mode DEFAULT group default qlen 1000
link/ether 1c:86:0b:34:6e:eb brd ff:ff:ff:ff:ff:ff
RX: bytes packets errors dropped missed mcast
54966631932 73595710 0 63073 0 2409994 <--------- bisschen sehr viel dropped !
TX: bytes packets errors dropped carrier collsns
364271999346 23329311 17 4 0 0
altname enx1c860b346eeb

##########################################

root@pveserver:~# lspci | grep -i ethernet
06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) <------ um die hier geht es, PCIe-Karte
07:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller (rev 15) <- auf dem Mainboard
08:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) <----- Reserve

##########################################

root@pveserver:~# ethtool -i nic0
driver: r8169
version: 7.0.14-17-pve
firmware-version: rtl8125b-2_0.0.2 07/13/20
expansion-rom-version:
bus-info: 0000:06:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

#######################################

root@pveserver:~# ethtool --show-eee nic0
EEE settings for nic0:
EEE status: enabled - inactive
Tx LPI: 124 (us)
Supported EEE link modes: 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised EEE link modes: 100baseT/Full
1000baseT/Full
2500baseT/Full
Link partner advertised EEE link modes: Not reported

Switch resettet... Sonst keinerlei Eingriff. Läuft wieder:

root@pveserver:~# ethtool nic0
Settings for nic0:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Link partner advertised pause frame use: Symmetric Receive-only
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 2500Mb/s
Duplex: Full
Auto-negotiation: on
master-slave cfg: preferred slave
master-slave status: slave
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: pumbg
Wake-on: d
Link detected: yes

Was würdet Ih weiter machen? Zuerst mal die NIC via EEEfixen auf 1 GBit und laufen lassen oder gleich mal den Switch tauschen? Hätte einen Netgear GS116GE übrig, dann wäre auch die Verbindung auf 1 GBit gefixt.
An diesem Switch hängen nur der PVE, der PBS und das Kabel zum 1 GBit "Hauptswitch". Ich hätte auch PVE und PBS auf den Hauptswitch stecken können, aber ich wollte bisschen mehr Speed rausholen für die Backups.

 

[Bu66as]

Die Antwort siehst du eigentlich schon in deinem ethtool-Output: Link partner advertised link modes zeigt, wenn es kaputt ist, nur noch 10/100. Der Zyxel bietet also nur noch 100 an, deine Karte advertised alles bis 2500 normal. Nach dem Switch-Reset bietet er wieder bis 2500 an. Das Problem sitzt eher am Switch oder dessen Port als am r8169. Manche PHYs schalten nach Leitungsfehlern selbst runter (Downshift) und gehen erst nach einem Reset wieder hoch, das passt zu deinem Muster. Die 63k dropped bei 0 errors sind bei r8169 meist Frames, mit denen der Stack nix anfangen kann. Darüber würd ich mir keinen Kopf machen.

Hol dir gern den Netgear. Selbst mit festen 1G hast du ~110 MB/s statt 20, und wenn das über Wochen stabil läuft, hast du deinen Schuldigen. Probier vorher noch einen anderen Port am Zyxel, kostet nix. Falls der PBS noch einen freien Port hat, kannst du deine Reserve-8125 direkt per Kabel mit dem PBS verbinden und die Backups über ein separates Netz laufen lassen, dann ist der Switch aus dem Spiel. Beim nächsten Einbruch schau auch mal mit ethtool auf den PBS-Port, ob der auch runtergegangen ist.

Willst du EEE abschalten, dann gilt das nur bis zum Reboot. Dauerhaft z.B. mit post-up ethtool --set-eee nic0 eee off unter dem nic0-Stanza in /etc/network/interfaces. Aber änder immer nur eine Sache auf einmal, sonst weißt du hinterher nicht, was geholfen hat.

 

[GMBauer]

Der PBS ist auf 2,5 geblieben, der hatte kein Problem mit dem Zyxel. Port am Zyxel habe ich beim letzten Mal schon getauscht.

Werde provisorisch mal den Netgear einbauen.

Was interessantes zu der verwendeten und oben bezeichneten Realtek-Karte von YuanLey. Die hat ja keine Status-LEDs wie man das so gewohnt ist, sondern nur Löcher im Slotblech, duch die man auf SMD-LEDs auf der Platine schauen kann. Im normalen Betrieb mit 2,5 GBit leuchtete eine rot und jetzt war eine grün. Ich glaube, dass die grüne auch orange kann - ich meine, dass ich das mal gesehen hätte. Das würde bedeuten grün 100 MBit, orange 1000 MBit und rot 2500 MBit. Als ich beim Hersteller in CN nachgefragt habe, ob es da irgendeine Doku in Bezug auf die LED-Farben geben würde, haben die abgestritten, dass es irgendwelche LEDs geben würde...
Wenn jemand eine bessere 2,5er Realtek kennt, sagt mir das bitte. Möchte die YuanLey mindestens ersetzen gegen
https://www.amazon.de/dp/B0C4LB5TY8
(mit drei LEDs am Slotblech, die auch eindeutig bezeichnet sind), aber wenn es was besseres gibt, jederzeit...

Dankeschön soweit! Werde berichten...

 

[mow]

Seit 24.9. kein Problem, das letzte Backup am 14.10. um 23 Uhr zeigte dann das:

Und was sagt iperf dazu?
Hast Du mal überlegt, den Uplink zu separieren und die beiden Kisten direkt ohne Switch zu verbinden?

 

[GMBauer]

Und was sagt iperf dazu?

Da erkennbar die Geschwindigkeit in den Bereich einer 100-MBit-Verbindung gefallen ist, habe ich mit iPerf nicht mehr gemessen. Langsamer kanns ja fast nicht sein.

Hast Du mal überlegt, den Uplink zu separieren und die beiden Kisten direkt ohne Switch zu verbinden?

Ich bin ein Fan der Filosofie Philosophie, dass man lieber zwei günstige PBS verwendet als einen "großen". Mein erster PBS ist ein Dell Optiplex Micro mit einem i5 und zwei SSDs, der zweite (sync-pull vom ersten) praktisch genauso aber an einer ganz anderen Stelle in der Firma. Und beide haben jeweils eine NIC. Da bringe ich keine Direktverbindung hin.


Ich finde interessant, dass nach der Grundinstallation im Juni drei Monate nie ein Problem kommt, dann alle zwei oder drei Tage und dann läuft alles wieder drei Wochen bis zum nächsten Zusammenbruch. Naja, Computer sind auch nur Menschen...

 

[Bu66as]

Der PBS-Port ist sauber auf 2,5 geblieben und du hast den Zyxel-Port schon getauscht, das verschiebt das Bild etwas. Wenn immer nur die Strecke PVE↔Switch runterschaltet, egal an welchem Port, würd ich eher die Kombi aus Karte und Kabel auf genau dieser Strecke verdächtigen als den Zyxel an sich. Der Netgear-Test passt trotzdem. Läuft es damit wochenlang stabil, weißt du zumindest, dass es an der 2,5G-Aushandlung hängt.

Eine "bessere" Realtek gibts da nicht wirklich. Der 8125B steckt auf praktisch allen günstigen 2,5er-Karten, die Unterschiede liegen eher in der Verarbeitung. Wenn du wechseln willst, eher Richtung Intel i226-V. Vom i225-V würd ich die Finger lassen, gerade die älteren Steppings hatten genau solche Link-Drops. Ganz zickenfrei ist die i226 auch nicht, unter Linux mit igc aber deutlich unauffälliger. Oder versuch bei der Realtek mal den Herstellertreiber r8125 (DKMS) statt r8169. Das hat bei manchen geholfen, nach jedem Kernel-Update musst du aber checken, ob das DKMS-Modul sauber neu gebaut wurde.

 

[GMBauer]

Habe gestern zufällig ein richtiges NIC Flapping am Switch wahrgenommen. Das Lichtlein am Zyxel-Switch wo der PVE angesteckt ist, ging im Sekundentakt fröhlich aus und an. Alles andere war stabil, aber der eine Port... In der Statistik waren auf dem PVE ca 1 % dropped Pakete.

Habe dann den Zyxel XMG108 wie von mir angekündigt getauscht gegen einen Netgear GS116 (ehrlich gesagt sowieso die Marke meines Vertrauens) mit "nur" 1 GBit. Schauen wir mal, ob das Besserung bringt.
Bei der nächsten Hardwarewartung tausche ich dann die NICs gegen Karten eines anderen Herstellers, bleibe aber beim Realtek 8152B. Bin mir eigentlich sehr sicher, dass ich alle EnergiesparDings im BIOS deaktiviert habe, werde aber speziell alles rund um ASPM nochmals anschauen.

Schade, hätte schon gerne das gesamte Firmennetz auf 2,5 umgestellt. Da ist das jetzt natürlich ein Rückschlag. Aber andererseits tu ich mir auch sehr schwer mit der Suche nach einem gemanageden 2,5er mit 24 Ports.

 

[news]

Hier mein Vorschlag für einen 5x 2.5 GBits /10 GBit/s uplink switch, den ich selbst an einem Knoten verwende.

UGREEN 2.5G LAN Switch mit 5X 2.5G Ports+1X10G SFP+ (6 Port)
# https://www.amazon.de/dp/B0DXVD4K1Z

Damit kann man sich die 2.5 GBit/s direkt in das Rack oder dem Arbeitsplatz holen.

Plug'n Play

 

[GMBauer]

Heute ist die Port-Geschwindigkeit sogar an meinem 1-GBit-Netgear-Switch runtergefallen...

root@pveserver:~# ethtool nic0
Settings for nic0:
        Supported ports: [ TP    MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Advertised pause frame use: Symmetric Receive-only
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                             100baseT/Half 100baseT/Full
                                             1000baseT/Half 1000baseT/Full
        Link partner advertised pause frame use: Symmetric
        Link partner advertised auto-negotiation: Yes
        Link partner advertised FEC modes: Not reported
        Speed: 100Mb/s
        Duplex: Full
        Auto-negotiation: on
        master-slave cfg: preferred slave
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: internal
        MDI-X: Unknown
        Supports Wake-on: pumbg
        Wake-on: d
        Link detected: yes

######################################################

root@pveserver:~# ip -s link show nic0
2: nic0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 1c:86:0b:34:6e:eb brd ff:ff:ff:ff:ff:ff
    RX:    bytes  packets errors dropped  missed   mcast          
     61209977594 95293290      0   97537       0 3743760
    TX:    bytes  packets errors dropped carrier collsns          
    613704940415 34710406     18       4       0       0
    altname enx1c860b346eeb

######################################################

root@pveserver:~# ethtool -i nic0
driver: r8169
version: 7.0.14-17-pve
firmware-version: rtl8125b-2_0.0.2 07/13/20
expansion-rom-version:
bus-info: 0000:06:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

####################################################

root@pveserver:~# ethtool --show-eee nic0
EEE settings for nic0:
        EEE status: enabled - active
        Tx LPI: 124 (us)
        Supported EEE link modes:  100baseT/Full
                                   1000baseT/Full
                                   2500baseT/Full
        Advertised EEE link modes:  100baseT/Full
                                    1000baseT/Full
                                    2500baseT/Full
        Link partner advertised EEE link modes:  100baseT/Full
                                                 1000baseT/Full

Ich würde jetzt die Karte tauschen. Habe mir jetzt eine 4x2,5 von Digitus (Link zum Hersteller) bestellt. Könnt Ihr das mitgehen?

Umbau geht aber erst am Donnerstag. Heute Switch resettet, geht wieder. Aber das ist ja kein Dauerzustand.

Was haltet Ihr von der Zahl der gedroppten Pakete?

 

[Bu66as]

Mit dem Netgear ist das Bild jetzt eindeutiger. Der Switch bietet laut deinem Output sauber bis 1000baseT/Full an, die Karte bis 2500, und trotzdem landet ihr bei 100. Damit ist der Switch raus, Zyxel und Netgear haben ja beide dasselbe Problem gezeigt. Übrig bleiben die Strecke Karte/Kabel bzw. der PHY auf der YuanLey, der bei Leitungsproblemen von sich aus runterschaltet. Das Flapping im Sekundentakt passt auch dazu.

Bis Donnerstag kannst du günstig gegentesten: Häng das Kabel an deine Reserve-8125 (08:00.0) und stell in /etc/network/interfaces den bridge-ports von vmbr0 auf das Interface um, dann ifreload -a. Nimm dafür ein anderes Patchkabel. Ich hatte das Cat 7 bisher als unverdächtig abgetan, aber wenn der Switch raus ist, ist das Kabel das Billigste zum Ausschließen.

Bei der Digitus schau bitte vorher, welcher Chip draufsitzt. Wenn das wieder vier 8125B sind, tauschst du nur die Platine und den r8169 behältst du. Kann trotzdem helfen, wenn deine YuanLey einfach ein Montagsmodell ist. Wenn es aber auch damit wieder passiert, weißt du wenigstens, dass es am Chip oder am Treiber liegt.

Zu den dropped: Das sind ~97k bei 95 Mio RX-Paketen, also rund 0,1 %. Prüf mit ethtool -S nic0, ob die Hardware-Zähler (rx_missed, align_errors usw.) sauber sind. Wenn ja, verwirft der Stack die Pakete auf Host-Seite und sie haben mit deinem Speed-Problem nichts zu tun. Die 1 % während des Flappings kommen einfach von den Link-Abbrüchen.

 

[GMBauer]

Es ist komisch, man sieht oft den Wald vor lauter Bäumen nicht...

Habe die NIC jetzt gewechselt aber mit Absicht das Kabel weiter verwendet. Beim nächsten Ausfall wechsle ich das Kabel... Sonst habe ich ja immer noch zwei Variablen.

 

[jim_os]

Moin

Möchte die YuanLey mindestens ersetzen gegen
https://www.amazon.de/dp/B0C4LB5TY8
(mit drei LEDs am Slotblech, die auch eindeutig bezeichnet sind), aber wenn es was besseres gibt, jederzeit...

Ich habe hier seit ~ 2 bis 3 Jahren u.a. die BrosTrend PCI NIC bei mir im Proxmox Host am werkeln und hatte damit bisher noch keine Problem. Wobei es ja vermutlich auch das Teil dann, je nach Alter, mit unterschiedlichen Revision von dem RTL8125B gibt.

Bei mir im und am Host werkelt die Onboard Intel NIC, die BrosTrend PCI NIC RTL8125B-2 und noch eine NoName Realtek USB NIC mit Realtek RTL8156B-2.

root@pve:~# ethtool -i enp0s31f6
driver: e1000e
version: 7.0.14-25-pve
firmware-version: 0.8-4
expansion-rom-version:
bus-info: 0000:00:1f.6
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes
root@pve:~# ethtool -i enp2s0
driver: r8169
version: 7.0.14-25-pve
firmware-version: rtl8125b-2_0.0.2 07/13/20
expansion-rom-version:
bus-info: 0000:02:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no
root@pve:~# ethtool -i enx00e04c680c57
driver: r8152
version: 7.0.14-25-pve
firmware-version: rtl8156b-2 v3 10/20/23
expansion-rom-version:
bus-info: usb-0000:00:14.0-5
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: no
root@pve:~#

Als Switch kommt hier ein günstiger (€60 bei Ali) AMPCOM 8-Port 2.5GbE Managed Switch (WAMJHJ-8125MNG) Switch zum Einsatz, den es baugleich ja unter verschiedensten Labeln gab, oder ggf. auch noch gibt. Per 2.5GbE sind daran der Proxmox Host, ein Synology NAS, ein Asus Mesh AP und mein Arbeits-PC angeschlossen.



Mit dieser Kombination hatte ich bei Proxmox noch keinerlei Probleme. Bei dem Switch hat allerdings gerade letzte Woche das Steckernetzteil nach ca. 2 1/2 Jahre 24/7 Betrieb den Geist aufgegeben. Einfach neues Netzteil ran und alles war wieder gut.

Aber Du hast ja jetzt inzwischen die Digitus NIC gekauft und somit dürfte sich Deine Frage zu der BrosTrend ja eh erledigt haben. Daher ist die Info hier eher für andere User FYI.

VG Jim

 

[GMBauer]

Grüeziwoll,

aktuell werkeln ja zwei YuanLey im Gerät, die ich ersetzen möchte gegen - bisherige Planung - zwei BrosTrend (Vorteil: Eindeutige LED-Marker an der Rückseite für 100 MBit oder 1000 MBit oder 2500 MBit) oder - neue Planung, weil zwei NICs vielleicht nicht reichen werden - eine vierfach Digitus. Die arbeiten alle mit einem 8152B.

(Konnte eigentlich schon jemand Erfahrungen machen mit 8152B, BG und BGS? Gibts da aus Sicht eines Klein-/Mittel-Server-Betreibers Unterschiede?)

Qualitativ sollte der mittlerweile rehabilitierte Zyxel XMG108 ja ausreichen, der wird bald wieder an seinen angestammten Platz gehen.

Übrigens: Ich habe neulich gemerkt, dass ich noch eine weitere nicht perfekt arbeitende YuanLey 2,5 GBit daheim habe. Habe die vor einem Jahr mal aus meinem Experimentierrechner gerupft weil sie Zicken machte. Hat eine andere Platinenbeschriftung als die im Server, müsste also mindestens eine andere Charge sein. Habe vor, die beiden nicht funktionierenden in einen Versuchsaufbau zu stecken und via Dauerlauf zu belasten. Mal gucken, was dann passiert.

(Ihr könnt mich steinigen, aber vielleicht wäre ein Unterforum für Hardware-Issues doch mal nötig...)

 

[jim_os]

noch eine weitere nicht perfekt arbeitende YuanLey 2,5 GBit daheim habe. Habe die vor einem Jahr mal aus meinem Experimentierrechner gerupft weil sie Zicken machte.

Vor der BrosTrend hatte ich sehr kurze Zeit lang auch noch eine andere NoName PCI NICs mit dem RTL8125B. Ich habe gerade mal bei meinen Amazon Bestellungen nachgeschaut. Das war im Juni 2024 und es war eine GLOTRENDS LE8105. Die hat gleich von Anfang an Zicken in meiner Fujitsu Kiste - die hier als Proxmox Host läuft - gemacht, sprich sie wurde als PCI-Karte erkannt, war dann aber z.B. nach x Stunden plötzlich wieder verschwunden und im laufenden Betrieb kam es dann auch immer mal wieder zu Verbindungsaussetzern im LAN. Nach ein paar Tagen habe ich GLOTRENDS LE8105 dann durch die BrosTrend ersetzt und die läuft von Anfang an problemlos und auch dauerhaft stabil.

D.h. bei diesen NoName PCI NICs mit dem RTL8125B dürfte es wohl auch immer ein "Glücksspiel" sein wie gut und stabil die dann funktionieren. Das sind halt die üblichen billigen Massenartikel, die mit unterschiedlichen Labeln, in vermutlich hunderten von unterschiedlichen Produktionsstätten, in China produziert werden. Die Produktionskosten dürften wohl so bei € 1 bis € 2 pro Stück liegen und dabei wird dann nicht wirklich Wert darauf gelegt welche Komponenten darauf verbaut werden.

VG Jim

 

[Bu66as]

Kleiner Hinweis zur Suche, du schreibst jetzt schon zweimal 8152B, gemeint ist sicher der 8125B. Der RTL8152B ist ein USB-Chip für 100 MBit. Wenn du nach Erfahrungsberichten googelst, findest du damit genau die falschen Threads. Bei BG vs. BGS kann ich da nichts zu sagen. Für den r8169 laufen die AFAIK alle als 8125B und ziehen dieselbe rtl8125b-2-Firmware, das siehst du ja auch an jims Output. Ob da im PHY was anders gelöst ist, weiß ich ehrlich gesagt nicht. Interessanter wäre vermutlich der neuere 8125D, falls dir der mal auf einer Karte über den Weg läuft.

Bei der Vierfach-Digitus würd ich vor dem Einbau noch schauen, in welchem Slot sie landet. Solche Karten haben meist einen PCIe-Switch drauf, der die vier Chips auf die Lanes vom Slot verteilt. Wenn der Slot elektrisch nur x1 ist, teilen sich alle vier Ports die Bandbreite. Mit lspci -vv -s <bus> siehst du unter LnkSta, was ausgehandelt wurde.

Dass du das Kabel erst mal drin lässt, find ich richtig, sonst weißt du am Ende wieder nicht, was es war.