Wünschenswert: Anzeige der NIC-Geschwindigkeit

[GMBauer]

Erster Eindruck: Der Switch zeigt für die Verbindung zum PVE kein 2,5-GBit-Lichtlein...

root@pveserver:~# ethtool nic0
Settings for nic0:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Link partner advertised pause frame use: Symmetric Receive-only
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 100Mb/s <-------------------------------- Da ist die Sau...
Duplex: Full
Auto-negotiation: on
master-slave cfg: preferred slave
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: pumbg
Wake-on: d
Link detected: yes

##########################################

root@pveserver:~# ip -s link show nic0
2: nic0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master vmbr0 state UP mode DEFAULT group default qlen 1000
link/ether 1c:86:0b:34:6e:eb brd ff:ff:ff:ff:ff:ff
RX: bytes packets errors dropped missed mcast
54966631932 73595710 0 63073 0 2409994 <--------- bisschen sehr viel dropped !
TX: bytes packets errors dropped carrier collsns
364271999346 23329311 17 4 0 0
altname enx1c860b346eeb

##########################################

root@pveserver:~# lspci | grep -i ethernet
06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) <------ um die hier geht es, PCIe-Karte
07:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller (rev 15) <- auf dem Mainboard
08:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) <----- Reserve

##########################################

root@pveserver:~# ethtool -i nic0
driver: r8169
version: 7.0.14-17-pve
firmware-version: rtl8125b-2_0.0.2 07/13/20
expansion-rom-version:
bus-info: 0000:06:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

#######################################

root@pveserver:~# ethtool --show-eee nic0
EEE settings for nic0:
EEE status: enabled - inactive
Tx LPI: 124 (us)
Supported EEE link modes: 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised EEE link modes: 100baseT/Full
1000baseT/Full
2500baseT/Full
Link partner advertised EEE link modes: Not reported

Switch resettet... Sonst keinerlei Eingriff. Läuft wieder:

root@pveserver:~# ethtool nic0
Settings for nic0:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Link partner advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
2500baseT/Full
Link partner advertised pause frame use: Symmetric Receive-only
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 2500Mb/s
Duplex: Full
Auto-negotiation: on
master-slave cfg: preferred slave
master-slave status: slave
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: pumbg
Wake-on: d
Link detected: yes

Was würdet Ih weiter machen? Zuerst mal die NIC via EEEfixen auf 1 GBit und laufen lassen oder gleich mal den Switch tauschen? Hätte einen Netgear GS116GE übrig, dann wäre auch die Verbindung auf 1 GBit gefixt.
An diesem Switch hängen nur der PVE, der PBS und das Kabel zum 1 GBit "Hauptswitch". Ich hätte auch PVE und PBS auf den Hauptswitch stecken können, aber ich wollte bisschen mehr Speed rausholen für die Backups.

 

[Bu66as]

Die Antwort siehst du eigentlich schon in deinem ethtool-Output: Link partner advertised link modes zeigt, wenn es kaputt ist, nur noch 10/100. Der Zyxel bietet also nur noch 100 an, deine Karte advertised alles bis 2500 normal. Nach dem Switch-Reset bietet er wieder bis 2500 an. Das Problem sitzt eher am Switch oder dessen Port als am r8169. Manche PHYs schalten nach Leitungsfehlern selbst runter (Downshift) und gehen erst nach einem Reset wieder hoch, das passt zu deinem Muster. Die 63k dropped bei 0 errors sind bei r8169 meist Frames, mit denen der Stack nix anfangen kann. Darüber würd ich mir keinen Kopf machen.

Hol dir gern den Netgear. Selbst mit festen 1G hast du ~110 MB/s statt 20, und wenn das über Wochen stabil läuft, hast du deinen Schuldigen. Probier vorher noch einen anderen Port am Zyxel, kostet nix. Falls der PBS noch einen freien Port hat, kannst du deine Reserve-8125 direkt per Kabel mit dem PBS verbinden und die Backups über ein separates Netz laufen lassen, dann ist der Switch aus dem Spiel. Beim nächsten Einbruch schau auch mal mit ethtool auf den PBS-Port, ob der auch runtergegangen ist.

Willst du EEE abschalten, dann gilt das nur bis zum Reboot. Dauerhaft z.B. mit post-up ethtool --set-eee nic0 eee off unter dem nic0-Stanza in /etc/network/interfaces. Aber änder immer nur eine Sache auf einmal, sonst weißt du hinterher nicht, was geholfen hat.

 

[GMBauer]

Der PBS ist auf 2,5 geblieben, der hatte kein Problem mit dem Zyxel. Port am Zyxel habe ich beim letzten Mal schon getauscht.

Werde provisorisch mal den Netgear einbauen.

Was interessantes zu der verwendeten und oben bezeichneten Realtek-Karte von YuanLey. Die hat ja keine Status-LEDs wie man das so gewohnt ist, sondern nur Löcher im Slotblech, duch die man auf SMD-LEDs auf der Platine schauen kann. Im normalen Betrieb mit 2,5 GBit leuchtete eine rot und jetzt war eine grün. Ich glaube, dass die grüne auch orange kann - ich meine, dass ich das mal gesehen hätte. Das würde bedeuten grün 100 MBit, orange 1000 MBit und rot 2500 MBit. Als ich beim Hersteller in CN nachgefragt habe, ob es da irgendeine Doku in Bezug auf die LED-Farben geben würde, haben die abgestritten, dass es irgendwelche LEDs geben würde...
Wenn jemand eine bessere 2,5er Realtek kennt, sagt mir das bitte. Möchte die YuanLey mindestens ersetzen gegen
https://www.amazon.de/dp/B0C4LB5TY8
(mit drei LEDs am Slotblech, die auch eindeutig bezeichnet sind), aber wenn es was besseres gibt, jederzeit...

Dankeschön soweit! Werde berichten...

 

[mow]

Seit 24.9. kein Problem, das letzte Backup am 14.10. um 23 Uhr zeigte dann das:

Und was sagt iperf dazu?
Hast Du mal überlegt, den Uplink zu separieren und die beiden Kisten direkt ohne Switch zu verbinden?

 

[GMBauer]

Und was sagt iperf dazu?

Da erkennbar die Geschwindigkeit in den Bereich einer 100-MBit-Verbindung gefallen ist, habe ich mit iPerf nicht mehr gemessen. Langsamer kanns ja fast nicht sein.

Hast Du mal überlegt, den Uplink zu separieren und die beiden Kisten direkt ohne Switch zu verbinden?

Ich bin ein Fan der Filosofie Philosophie, dass man lieber zwei günstige PBS verwendet als einen "großen". Mein erster PBS ist ein Dell Optiplex Micro mit einem i5 und zwei SSDs, der zweite (sync-pull vom ersten) praktisch genauso aber an einer ganz anderen Stelle in der Firma. Und beide haben jeweils eine NIC. Da bringe ich keine Direktverbindung hin.


Ich finde interessant, dass nach der Grundinstallation im Juni drei Monate nie ein Problem kommt, dann alle zwei oder drei Tage und dann läuft alles wieder drei Wochen bis zum nächsten Zusammenbruch. Naja, Computer sind auch nur Menschen...

 

[Bu66as]

Der PBS-Port ist sauber auf 2,5 geblieben und du hast den Zyxel-Port schon getauscht, das verschiebt das Bild etwas. Wenn immer nur die Strecke PVE↔Switch runterschaltet, egal an welchem Port, würd ich eher die Kombi aus Karte und Kabel auf genau dieser Strecke verdächtigen als den Zyxel an sich. Der Netgear-Test passt trotzdem. Läuft es damit wochenlang stabil, weißt du zumindest, dass es an der 2,5G-Aushandlung hängt.

Eine "bessere" Realtek gibts da nicht wirklich. Der 8125B steckt auf praktisch allen günstigen 2,5er-Karten, die Unterschiede liegen eher in der Verarbeitung. Wenn du wechseln willst, eher Richtung Intel i226-V. Vom i225-V würd ich die Finger lassen, gerade die älteren Steppings hatten genau solche Link-Drops. Ganz zickenfrei ist die i226 auch nicht, unter Linux mit igc aber deutlich unauffälliger. Oder versuch bei der Realtek mal den Herstellertreiber r8125 (DKMS) statt r8169. Das hat bei manchen geholfen, nach jedem Kernel-Update musst du aber checken, ob das DKMS-Modul sauber neu gebaut wurde.