[SOLVED] eno1: Detected Hardware Unit Hang

swissmaster

New Member
Aug 2, 2021
7
1
1
37
Hallo zusammen
Ich nutze Proxmox 7 und bin noch ziemlicher Neuling. Mein System, einige VM's und ein paar Container laufen grundsätzlich problemlos. Nur habe ich immer wieder das Problem, dass sich das ganze System aufhängt und ich mich nicht mehr darauf verbinden kann. Nach einem Neustart klappt dann alles wieder ordnungsgemäss. Ich habe daher mal das Log angeschaut und bin auf folgenden Fehler gestossen:

Dec 21 23:05:23 proxmox kernel: e1000e 0000:00:19.0 eno1: Detected Hardware Unit Hang:
TDH <a1>
TDT <c6>
next_to_use <c6>
next_to_clean <a0>
buffer_info[next_to_clean]:
time_stamp <10026a538>
next_to_watch <a1>
jiffies <10026aa30>
next_to_watch.status <0>
MAC Status <80083>
PHY Status <796d>
PHY 1000BASE-T Status <3800>
PHY Extended Status <3000>
PCI Status <10>
Dec 21 23:05:23 proxmox kernel: e1000e 0000:00:19.0 eno1: Reset adapter unexpectedly
Dec 21 23:05:23 proxmox kernel: vmbr0: port 1(eno1) entered disabled state
Dec 21 23:05:27 proxmox kernel: e1000e 0000:00:19.0 eno1: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: Rx/Tx
Dec 21 23:05:27 proxmox kernel: vmbr0: port 1(eno1) entered blocking state
Dec 21 23:05:27 proxmox kernel: vmbr0: port 1(eno1) entered forwarding state

Ich habe dann etwas rechechiert und bin auf andere gestossen, die mit dem gleichen Problem kämpfen. Als Fehlerbehebung wurde da folgender Befehl beschrieben:
ethtool -K eno1 gso off gro off tso off tx off rx off

Ich habe diesen Befehl ausgeführt, jedoch half dies nichts und einige Stunden später wieder das gleiche Problem. Kann mir jemand weiterhelfen?
 

oguz

Proxmox Staff Member
Staff member
Nov 19, 2018
5,207
677
118
hi,
ethtool -K eno1 gso off gro off tso off tx off rx off
hat das funktioniert? ich frag nur weil ethtool nicht defaultmaessig installiert ist, also musst du schon vorher installieren mit apt :)

falls es nicht funktioniert bitte um folgendes:
Code:
pveversion -v
ethtool eno1
ethtool -k eno1
 

swissmaster

New Member
Aug 2, 2021
7
1
1
37
hi,

hat das funktioniert? ich frag nur weil ethtool nicht defaultmaessig installiert ist, also musst du schon vorher installieren mit apt :)

falls es nicht funktioniert bitte um folgendes:
Code:
pveversion -v
ethtool eno1
ethtool -k eno1
Doch doch, es hat schon funktioniert. ethtool müsste installiert sein. Aber wie gesagt, habe den Befehl ausgeführt und dann trotzdem wieder den gleichen Fehler erhalten. Könnte das Problem mit einer anderen Netzwerkkarte behoben werden? Habe mir mal eine neue/andere bestellt.

root@proxmox:~# pveversion -v
proxmox-ve: 7.1-1 (running kernel: 5.13.19-2-pve)
pve-manager: 7.1-8 (running version: 7.1-8/5b267f33)
pve-kernel-helper: 7.1-6
pve-kernel-5.13: 7.1-5
pve-kernel-5.11: 7.0-10
pve-kernel-5.13.19-2-pve: 5.13.19-4
pve-kernel-5.11.22-7-pve: 5.11.22-12
pve-kernel-5.11.22-5-pve: 5.11.22-10
pve-kernel-5.11.22-4-pve: 5.11.22-9
pve-kernel-5.11.22-3-pve: 5.11.22-7
pve-kernel-5.11.22-1-pve: 5.11.22-2
ceph-fuse: 15.2.13-pve1
corosync: 3.1.5-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve2
libproxmox-acme-perl: 1.4.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.1-5
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-14
libpve-guest-common-perl: 4.0-3
libpve-http-server-perl: 4.0-4
libpve-storage-perl: 7.0-15
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.11-1
lxcfs: 4.0.11-pve1
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.1.2-1
proxmox-backup-file-restore: 2.1.2-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.4-4
pve-cluster: 7.1-2
pve-container: 4.1-3
pve-docs: 7.1-2
pve-edk2-firmware: 3.20210831-2
pve-firewall: 4.2-5
pve-firmware: 3.3-3
pve-ha-manager: 3.3-1
pve-i18n: 2.6-2
pve-qemu-kvm: 6.1.0-3
pve-xtermjs: 4.12.0-1
qemu-server: 7.1-4
smartmontools: 7.2-1
spiceterm: 3.2-2
swtpm: 0.7.0~rc1+2
vncterm: 1.7-1
zfsutils-linux: 2.1.1-pve3


root@proxmox:~# ethtool eno1

Settings for eno1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 1000Mb/s
Duplex: Full
Auto-negotiation: on
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes


root@proxmox:~# ethtool -k eno1
Features for eno1:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: off [fixed]
tx-checksum-ip-generic: on
tx-checksum-ipv6: off [fixed]
tx-checksum-fcoe-crc: off [fixed]
tx-checksum-sctp: off [fixed]
scatter-gather: on
tx-scatter-gather: on
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
tx-tcp-segmentation: on
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp-mangleid-segmentation: off
tx-tcp6-segmentation: on
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off [fixed]
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-gre-csum-segmentation: off [fixed]
tx-ipxip4-segmentation: off [fixed]
tx-ipxip6-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-udp_tnl-csum-segmentation: off [fixed]
tx-gso-partial: off [fixed]
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: off [fixed]
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off
rx-all: off
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: off [fixed]
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: off [fixed]
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
rx-udp-gro-forwarding: off
hsr-tag-ins-offload: off [fixed]
hsr-tag-rm-offload: off [fixed]
hsr-fwd-offload: off [fixed]
hsr-dup-offload: off [fixed]
 
Last edited:

oguz

Proxmox Staff Member
Staff member
Nov 19, 2018
5,207
677
118
danke fuer die ausgaben :)

folgendes muss eigentlich noch deaktiviert sein nachdem du das workaround kommando benutzt hast:
Code:
tx-checksum-ip-generic: on
rx-gro-hw: off [fixed]
rx-gro-list: off
tx-tcp-segmentation: on
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: on
rx-checksumming: on

was bekommst du wenn du dieses workaround kommando ausfuehrst? (ethtool -K eno1 gso off gro off tso off tx off rx off)
irgendwelche fehlermeldung vielleicht?

und was fuer hardware benutzt du? bitte poste noch:
Code:
lspci -nnk | grep -i ether -A 3
 

swissmaster

New Member
Aug 2, 2021
7
1
1
37
habe das workaround kommando ausgeführt. Ging Fehlerfrei. Die ausgabe von "ethtool -k eno1":
Features for eno1:
rx-checksumming: off
tx-checksumming: off
tx-checksum-ipv4: off [fixed]
tx-checksum-ip-generic: off
tx-checksum-ipv6: off [fixed]
tx-checksum-fcoe-crc: off [fixed]
tx-checksum-sctp: off [fixed]
scatter-gather: on
tx-scatter-gather: on
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
tx-tcp-segmentation: off
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp-mangleid-segmentation: off
tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off [fixed]
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-gre-csum-segmentation: off [fixed]
tx-ipxip4-segmentation: off [fixed]
tx-ipxip6-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-udp_tnl-csum-segmentation: off [fixed]
tx-gso-partial: off [fixed]
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: off [fixed]
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off
rx-all: off
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: off [fixed]
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: off [fixed]
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
rx-udp-gro-forwarding: off
hsr-tag-ins-offload: off [fixed]
hsr-tag-rm-offload: off [fixed]
hsr-fwd-offload: off [fixed]
hsr-dup-offload: off [fixed]

Scheint also alles aus zu sein jetzt. Denkst du, dass dies das Problem behebt? Falls dem so wäre, müsste dieses Kommando nach jedem Neustart abgesetzt werden? Hängt das Problem mit der Hardware zusammen oder ist es eher ein Softwareseitiges (Treiber) Problem? Würde ein andere Netzwerkkarte das Problem dann auch lösen?
root@proxmox:~# lspci -nnk | grep -i ether -A 3
00:19.0 Ethernet controller [0200]: Intel Corporation Ethernet Connection I217-LM [8086:153a] (rev 04)
DeviceName: Onboard LAN
Subsystem: Hewlett-Packard Company EliteDesk 800 G1 [103c:1998]
Kernel driver in use: e1000e
 

oguz

Proxmox Staff Member
Staff member
Nov 19, 2018
5,207
677
118
habe das workaround kommando ausgeführt. Ging Fehlerfrei. Die ausgabe von "ethtool -k eno1":
Features for eno1:
jetzt schauts so schon gut aus

Denkst du, dass dies das Problem behebt?
hoffentlich :) du hast den selben kernel trace wie bei dem alten thread [0], also wahrscheinlich soltle das jetzt normal gehen..

Falls dem so wäre, müsste dieses Kommando nach jedem Neustart abgesetzt werden?
ja das geht weg nach reboot, aber du kannst das einfach als post-up hinzufuegen in /etc/network/interfaces ;)

Hängt das Problem mit der Hardware zusammen oder ist es eher ein Softwareseitiges (Treiber) Problem? Würde ein andere Netzwerkkarte das Problem dann auch lösen?
naja... du kannst hier schauen [1], aber schaut so aus dass es mit dem intel treiber abhaengig ist.
eine andere netzwerkkarte wuerde das beheben, wenn es einen anderen treiber als e1000 benutzt ;)

hoffe das hilft! :)

[0]: https://forum.proxmox.com/threads/e1000-driver-hang.58284/
[1]: https://bugzilla.kernel.org/show_bug.cgi?id=205047
 

swissmaster

New Member
Aug 2, 2021
7
1
1
37
Hallo Oguz
Erstmal herzlichen Dank für die Unterstützung.

Wie müsste meine /etc/network/interfaces dann aussehen?
So sieht sie aktuell aus.
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.1.20/24
gateway 192.168.1.1
bridge-ports eno1
bridge-stp off
bridge-fd 0



Wäre es so korrekt:
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno1 inet manual
post-up /sbin/ethtool -K eno1 gso off gro off tso off tx off rx off

auto vmbr0
iface vmbr0 inet static
address 192.168.1.20/24
gateway 192.168.1.1
bridge-ports eno1
bridge-stp off
bridge-fd 0


Falls dies das Problem nicht lösen sollte, denkst du, mit dieser NIC (https://www.delock.de/produkt/89346/merkmale.html) würds gehen? Diese verwendet so wie ich gesehen habe einen anderen Chip und somit vermutlich auch einen anderen Treiber.
 

oguz

Proxmox Staff Member
Staff member
Nov 19, 2018
5,207
677
118
Wie müsste meine /etc/network/interfaces dann aussehen?
iface eno1 inet manual
post-up /sbin/ethtool -K eno1 gso off gro off tso off tx off rx off
ja das sollte gehen
(tipp: wenn du ausgabe von kommandos postest kannst du naechstes mal [code][/code] tags verwenden)
Falls dies das Problem nicht lösen sollte, denkst du, mit dieser NIC (https://www.delock.de/produkt/89346/merkmale.html) würds gehen? Diese verwendet so wie ich gesehen habe einen anderen Chip und somit vermutlich auch einen anderen Treiber.
mit der bestimmten NIC habe ich keine erfahrung aber realtek wird schon einen anderen treiber benutzen ja ;)

Erstmal herzlichen Dank für die Unterstützung.
ganz gerne :)
 

swissmaster

New Member
Aug 2, 2021
7
1
1
37
Alles klar. Danke für den Hinweis. Habe die Kiste mal gebootet und es scheint die Einstellungen übernommen zu haben. Teste das nun Mal und schaue, ob der Fehler wieder auftritt. Es scheint ja irgendwie mit erhöhten Netzwerktransferraten zu tun zu haben.
 

caustic

Member
Dec 4, 2013
12
0
21
Hallo,
ich habe exakt das selbe Problem mit einer anderen Netzwerkkarte.

root@pve1:~# lspci -nnk | grep -i ether -A 3 1a:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Connection X722 for 1GbE [8086:37d1] (rev 09) Subsystem: Intel Corporation Ethernet Connection X722 for 1GbE [8086:0000] Kernel driver in use: i40e Kernel modules: i40e 1a:00.1 Ethernet controller [0200]: Intel Corporation Ethernet Connection X722 for 1GbE [8086:37d1] (rev 09) Subsystem: Intel Corporation Ethernet Connection X722 for 1GbE [8086:0000] Kernel driver in use: i40e Kernel modules: i40e 1a:00.2 Ethernet controller [0200]: Intel Corporation Ethernet Connection X722 for 1GbE [8086:37d1] (rev 09) Subsystem: Intel Corporation Ethernet Connection X722 for 1GbE [8086:0000] Kernel driver in use: i40e Kernel modules: i40e 1a:00.3 Ethernet controller [0200]: Intel Corporation Ethernet Connection X722 for 1GbE [8086:37d1] (rev 09) Subsystem: Intel Corporation Ethernet Connection X722 for 1GbE [8086:0000] Kernel driver in use: i40e Kernel modules: i40e 1c:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:00a1] Kernel driver in use: igb Kernel modules: igb 1c:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:00a1] Kernel driver in use: igb Kernel modules: igb 1c:00.2 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:00a1] Kernel driver in use: igb Kernel modules: igb 1c:00.3 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:00a1] Kernel driver in use: igb Kernel modules: igb 64:00.0 PCI bridge [0604]: Intel Corporation Sky Lake-E PCI Express Root Port A [8086:2030] (rev 04) -- b4:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:5001] Kernel driver in use: igb Kernel modules: igb b4:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:5001] Kernel driver in use: igb Kernel modules: igb b4:00.2 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:5001] Kernel driver in use: igb Kernel modules: igb b4:00.3 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T4 [8086:5001] Kernel driver in use: igb Kernel modules: igb

Das liegt sicher nicht nur an dem e1000e Treiber.

Hinter dem Port 1a:00.1 wird von mir ein Windows Server 2019 AD Server betrieben.
Insgesamt habe ich 12 Netzwerkports, davon 11 in Verwendung.
Was ich nicht verstanden habe, warum nur der 2. Port also 1a:00.1 immer wieder disconnected hat.
Zunächst dachte ich vielleicht auch defekt.

Ich habe allerdings für die Behebung nix mit dem ethtool gemacht sondern einfach nur die Firewall Option bei der VM bei der Netzwerkkarte abgeschaltet. Von da ab gings normal weiter.

Das Problem konnte ich zum 1. Mal mit dem Update auf die Version 7.1.7 beobachten.
Vorher war alles i.O.
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!