Proxmox nach einiger Zeit nicht mehr erreichbar

nousefor82 · Aug 10, 2023

Hallo zusammen,

vorweg ich bin ein totaler Proxmox-Depp; trotzdem versuche ich mich darin, da ich auf einem NUC Proxmox installiert habe und einen LXC mit iObroker laufen lasse. (n möchte)

Fehlerbild:
Nach einiger Zeit läuft zwar der NUC aber sowohl der Proxmox-Server als auch der LXC sind nicht mehr über die IP-Adresse erreichbar.
Nur ein Neustart bringt den Server wieder in mein Netzwerk.

Leider bekomme ich den syslog aufgrund der Länge nicht gepostet.

Jemand eine Idee?

Danke

cheiss · Aug 10, 2023

Hi,

nousefor82 said:
Leider bekomme ich den syslog aufgrund der Länge nicht gepostet.

Also zuerst mal, du kannst hier im Forum auch Dateien an Posts anhängen, ist in solchen Fällen auch der bevorzugte Weg. Wäre in dem Fall auch auf jeden Fall sehr sinnvoll bzw. hilfreich, den zu haben.

Könntest du dann bitte auch noch den Ausgabe von pveversion -v posten? Zur Sicherheit.

nousefor82 said:
Nach einiger Zeit läuft zwar der NUC aber sowohl der Proxmox-Server als auch der LXC sind nicht mehr über die IP-Adresse erreichbar.

Wie oft kommt das vor?
Läuft die Maschine ansonsten noch normal, d.h. hast du schon mal einen Bildschirm angesteckt und versucht, dich einzuloggen?
Blinken die Link- und Activity-LEDs noch am NIC?

Philipp Hufnagl · Aug 10, 2023

Hallo

Die Beste Quelle an Daten für eine Fehlerquelle ist journalctl. Wenn sich dein System aufgehängt hat und du es neu startest kannst du mit journalctl -b -1 den Log bekommen wo es weg war. Mit journalctl -b -1 > journal.txt erhältst du es als Textfile welches du im Forum hochladen kannst.

nousefor82 · Aug 10, 2023

Hallo,

und vielen Dank für die rasche Antwort:

pveversion:

Code:

proxmox-ve: 8.0.1 (running kernel: 6.2.16-5-pve)
pve-manager: 8.0.3 (running version: 8.0.3/bbf3993334bfa916)
pve-kernel-6.2: 8.0.4
pve-kernel-6.2.16-5-pve: 6.2.16-6
pve-kernel-6.2.16-4-pve: 6.2.16-5
pve-kernel-6.2.16-3-pve: 6.2.16-3
ceph-fuse: 17.2.6-pve1+3
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-3
libknet1: 1.25-pve1
libproxmox-acme-perl: 1.4.6
libproxmox-backup-qemu0: 1.4.0
libproxmox-rs-perl: 0.3.0
libpve-access-control: 8.0.3
libpve-apiclient-perl: 3.3.1
libpve-common-perl: 8.0.6
libpve-guest-common-perl: 5.0.3
libpve-http-server-perl: 5.0.4
libpve-rs-perl: 0.8.4
libpve-storage-perl: 8.0.2
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 5.0.2-4
lxcfs: 5.0.3-pve3
novnc-pve: 1.4.0-2
proxmox-backup-client: 3.0.1-1
proxmox-backup-file-restore: 3.0.1-1
proxmox-kernel-helper: 8.0.2
proxmox-mail-forward: 0.2.0
proxmox-mini-journalreader: 1.4.0
proxmox-widget-toolkit: 4.0.6
pve-cluster: 8.0.2
pve-container: 5.0.4
pve-docs: 8.0.4
pve-edk2-firmware: 3.20230228-4
pve-firewall: 5.0.3
pve-firmware: 3.7-1
pve-ha-manager: 4.0.2
pve-i18n: 3.0.5
pve-qemu-kvm: 8.0.2-3
pve-xtermjs: 4.16.0-3
qemu-server: 8.0.6
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.1.12-pve1

nousefor82 · Aug 10, 2023

Er hat sich gerade wieder verabschiedet.

Die Status LED beim An/Aus-Taster leuchtet da dann unverändert.

kleinp · Aug 11, 2023

War der NUC vorher schon im Einsatz?

Schau mal ins BIOS bzgl. Energieeinstellungen. / Schlummerbetrieb o.ä.

Ich hatte auf einem gebrauchten Lenovo tiny mal ganz mysteriöses Verhalten.

Final half ein Werksreset im BIOS

cheiss · Aug 11, 2023

Hi,

also aus dem syslog konnte ich das hier entnehmen:

Code:

Aug 10 14:12:15 proxmox kernel: igc 0000:55:00.0 enp85s0: PCIe link lost, device now detached
Aug 10 14:12:15 proxmox kernel: ------------[ cut here ]------------
Aug 10 14:12:15 proxmox kernel: igc: Failed to read reg 0xc030!
Aug 10 14:12:15 proxmox kernel: WARNING: CPU: 4 PID: 610 at drivers/net/ethernet/intel/igc/igc_main.c:6412 igc_rd32+0xa4/0xc0 [igc]
Aug 10 14:12:15 proxmox kernel: Modules linked in: veth ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_ta>
Aug 10 14:12:15 proxmox kernel: mei_hdcp mei_pxp aesni_intel snd_pcm btbcm iwlwifi v4l2_fwnode crypto_simd i2c_algo_bit btintel v4l2_>
Aug 10 14:12:15 proxmox kernel: CPU: 4 PID: 610 Comm: kworker/4:2 Tainted: PO 6.2.16-5-pve #1
Aug 10 14:12:15 proxmox kernel: Hardware name: Intel(R) Client Systems NUC12WSKv7/NUC12WSBv7, BIOS WSADLV57.0085.2022.0718.1715 07/18/>
Aug 10 14:12:15 proxmox kernel: Workqueue: events igc_watchdog_task [igc]
Aug 10 14:12:15 proxmox kernel: RIP: 0010:igc_rd32+0xa4/0xc0 [igc]
Aug 10 14:12:15 proxmox kernel: Code: c7 c6 20 f5 5c c0 e8 ab 3b 59 c7 48 8b bb 28 ff ff ff e8 bf ff 0e c7 84 c0 74 b4 44 89 e6 48 c7 >
Aug 10 14:12:15 proxmox kernel: RSP: 0018:ffffa877017bfdb8 EFLAGS: 00010246
Aug 10 14:12:15 proxmox kernel: RAX: 0000000000000000 RBX: ffff9962d2a7ac60 RCX: 0000000000000000
Aug 10 14:12:15 proxmox kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000
Aug 10 14:12:15 proxmox kernel: RBP: ffffa877017bfdd0 R08: 0000000000000000 R09: 0000000000000000
Aug 10 14:12:15 proxmox kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 000000000000c030
Aug 10 14:12:15 proxmox kernel: R13: ffff9962d2a7a000 R14: 0000000000000000 R15: ffff9962c1586d80
Aug 10 14:12:15 proxmox kernel: FS: 0000000000000000(0000) GS:ffff99644f700000(0000) knlGS:0000000000000000
Aug 10 14:12:15 proxmox kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Aug 10 14:12:15 proxmox kernel: CR2: 000012fcb8a88000 CR3: 000000025a610000 CR4: 0000000000750ee0
Aug 10 14:12:15 proxmox kernel: PKRU: 55555554
Aug 10 14:12:15 proxmox kernel: Call Trace:
Aug 10 14:12:15 proxmox kernel: <TASK>
Aug 10 14:12:15 proxmox kernel: igc_update_stats+0xa5/0x750 [igc]
Aug 10 14:12:15 proxmox kernel: igc_watchdog_task+0xf7/0x570 [igc]
Aug 10 14:12:15 proxmox kernel: ? psi_avgs_work+0x67/0xe0
Aug 10 14:12:15 proxmox kernel: process_one_work+0x222/0x430
Aug 10 14:12:15 proxmox kernel: worker_thread+0x50/0x3e0
Aug 10 14:12:15 proxmox kernel: ? __pfx_worker_thread+0x10/0x10
Aug 10 14:12:15 proxmox kernel: kthread+0xe6/0x110
Aug 10 14:12:15 proxmox kernel: ? __pfx_kthread+0x10/0x10
Aug 10 14:12:15 proxmox kernel: ret_from_fork+0x29/0x50
Aug 10 14:12:15 proxmox kernel: </TASK>
Aug 10 14:12:15 proxmox kernel: ---[ end trace 0000000000000000 ]---

(Übrigens, nächstes Mal einfach als Textfile anhängen reicht, PDFs sind da ein wenig unhantlich für sowas

)

Scheint ein Problem mit dem igc-Treiber für deine NIC zu sein. Der Treiber ist/kann recht problematisch sein leider, da gibt es viele reports schon, zumindest seit Linux 6.2.

Der 6.1er kernel ist IIRC in den Repos - könntest du den mal installieren apt install pve-kernel-6.1 und diesen booten, ob das immer noch passiert?

nousefor82 · Aug 12, 2023

Hallo zusammen,

probiere ich gleich aus und gebe Rückmeldung.

Herzlichen Dank schon mal!

nousefor82 · Aug 12, 2023

kleinp said:
War der NUC vorher schon im Einsatz?

Schau mal ins BIOS bzgl. Energieeinstellungen. / Schlummerbetrieb o.ä.

Ich hatte auf einem gebrauchten Lenovo tiny mal ganz mysteriöses Verhalten.

Final half ein Werksreset im BIOS

Hallo,

nein, er ist brand neu.

Ich schau mal nach...danke!

VG

nousefor82 · Aug 12, 2023

cheiss said:

Hi,

also aus dem syslog konnte ich das hier entnehmen:

Code:

Aug 10 14:12:15 proxmox kernel: igc 0000:55:00.0 enp85s0: PCIe link lost, device now detached
Aug 10 14:12:15 proxmox kernel: ------------[ cut here ]------------
Aug 10 14:12:15 proxmox kernel: igc: Failed to read reg 0xc030!
Aug 10 14:12:15 proxmox kernel: WARNING: CPU: 4 PID: 610 at drivers/net/ethernet/intel/igc/igc_main.c:6412 igc_rd32+0xa4/0xc0 [igc]
Aug 10 14:12:15 proxmox kernel: Modules linked in: veth ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_ta>
Aug 10 14:12:15 proxmox kernel: mei_hdcp mei_pxp aesni_intel snd_pcm btbcm iwlwifi v4l2_fwnode crypto_simd i2c_algo_bit btintel v4l2_>
Aug 10 14:12:15 proxmox kernel: CPU: 4 PID: 610 Comm: kworker/4:2 Tainted: PO 6.2.16-5-pve #1
Aug 10 14:12:15 proxmox kernel: Hardware name: Intel(R) Client Systems NUC12WSKv7/NUC12WSBv7, BIOS WSADLV57.0085.2022.0718.1715 07/18/>
Aug 10 14:12:15 proxmox kernel: Workqueue: events igc_watchdog_task [igc]
Aug 10 14:12:15 proxmox kernel: RIP: 0010:igc_rd32+0xa4/0xc0 [igc]
Aug 10 14:12:15 proxmox kernel: Code: c7 c6 20 f5 5c c0 e8 ab 3b 59 c7 48 8b bb 28 ff ff ff e8 bf ff 0e c7 84 c0 74 b4 44 89 e6 48 c7 >
Aug 10 14:12:15 proxmox kernel: RSP: 0018:ffffa877017bfdb8 EFLAGS: 00010246
Aug 10 14:12:15 proxmox kernel: RAX: 0000000000000000 RBX: ffff9962d2a7ac60 RCX: 0000000000000000
Aug 10 14:12:15 proxmox kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000
Aug 10 14:12:15 proxmox kernel: RBP: ffffa877017bfdd0 R08: 0000000000000000 R09: 0000000000000000
Aug 10 14:12:15 proxmox kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 000000000000c030
Aug 10 14:12:15 proxmox kernel: R13: ffff9962d2a7a000 R14: 0000000000000000 R15: ffff9962c1586d80
Aug 10 14:12:15 proxmox kernel: FS: 0000000000000000(0000) GS:ffff99644f700000(0000) knlGS:0000000000000000
Aug 10 14:12:15 proxmox kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Aug 10 14:12:15 proxmox kernel: CR2: 000012fcb8a88000 CR3: 000000025a610000 CR4: 0000000000750ee0
Aug 10 14:12:15 proxmox kernel: PKRU: 55555554
Aug 10 14:12:15 proxmox kernel: Call Trace:
Aug 10 14:12:15 proxmox kernel: <TASK>
Aug 10 14:12:15 proxmox kernel: igc_update_stats+0xa5/0x750 [igc]
Aug 10 14:12:15 proxmox kernel: igc_watchdog_task+0xf7/0x570 [igc]
Aug 10 14:12:15 proxmox kernel: ? psi_avgs_work+0x67/0xe0
Aug 10 14:12:15 proxmox kernel: process_one_work+0x222/0x430
Aug 10 14:12:15 proxmox kernel: worker_thread+0x50/0x3e0
Aug 10 14:12:15 proxmox kernel: ? __pfx_worker_thread+0x10/0x10
Aug 10 14:12:15 proxmox kernel: kthread+0xe6/0x110
Aug 10 14:12:15 proxmox kernel: ? __pfx_kthread+0x10/0x10
Aug 10 14:12:15 proxmox kernel: ret_from_fork+0x29/0x50
Aug 10 14:12:15 proxmox kernel: </TASK>
Aug 10 14:12:15 proxmox kernel: ---[ end trace 0000000000000000 ]---

(Übrigens, nächstes Mal einfach als Textfile anhängen reicht, PDFs sind da ein wenig unhantlich für sowas

)

Scheint ein Problem mit dem igc-Treiber für deine NIC zu sein. Der Treiber ist/kann recht problematisch sein leider, da gibt es viele reports schon, zumindest seit Linux 6.2.

Der 6.1er kernel ist IIRC in den Repos - könntest du den mal installieren apt install pve-kernel-6.1 und diesen booten, ob das immer noch passiert?

Ok, das hat leider nicht geklappt.

Ist mittlerweile wieder nicht mehr erreichbar.

nousefor82 · Aug 12, 2023

kleinp said:
War der NUC vorher schon im Einsatz?

Schau mal ins BIOS bzgl. Energieeinstellungen. / Schlummerbetrieb o.ä.

Ich hatte auf einem gebrauchten Lenovo tiny mal ganz mysteriöses Verhalten.

Final half ein Werksreset im BIOS

Hab keine Power-Saving Einstellungen im Bios gefunden.

Korrigiere : Powersens habe ich gefunden und jetzt mal deaktiviert.

Mal schauen...

nousefor82 · Feb 17, 2024

Hallo zusammen,

es fängt wieder an...nach nichtmal ner Stunde habe ich keinen Zugriff mehr auf Proxmox. Mega ärgerlich, da auch der installierte iobroker nicht läuft...

Code:

root@proxmox:~# journalctl -b -1
Feb 17 17:40:13 proxmox kernel: Linux version 6.5.11-8-pve (build@proxmox) (gcc (Debian 12.2.0-14) 12.2.0, GNU ld (GNU Binutils for De>
Feb 17 17:40:13 proxmox kernel: Command line: BOOT_IMAGE=/boot/vmlinuz-6.5.11-8-pve root=/dev/mapper/pve-root ro quiet
Feb 17 17:40:13 proxmox kernel: KERNEL supported cpus:
Feb 17 17:40:13 proxmox kernel:   Intel GenuineIntel
Feb 17 17:40:13 proxmox kernel:   AMD AuthenticAMD
Feb 17 17:40:13 proxmox kernel:   Hygon HygonGenuine
Feb 17 17:40:13 proxmox kernel:   Centaur CentaurHauls
Feb 17 17:40:13 proxmox kernel:   zhaoxin   Shanghai 
Feb 17 17:40:13 proxmox kernel: x86/split lock detection: #AC: crashing the kernel on kernel split_locks and warning on user-space spl>
Feb 17 17:40:13 proxmox kernel: BIOS-provided physical RAM map:
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000000000000-0x000000000009dfff] usable
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x000000000009e000-0x000000000009efff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x000000000009f000-0x000000000009ffff] usable
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000000a0000-0x00000000000fffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000000100000-0x000000004cd38fff] usable
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x000000004cd39000-0x0000000055c64fff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000055c65000-0x0000000055d3efff] ACPI data
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000055d3f000-0x0000000055ec6fff] ACPI NVS
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000055ec7000-0x000000005975efff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x000000005975f000-0x00000000597fefff] type 20
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000597ff000-0x00000000597fffff] usable
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000059800000-0x000000005fffffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000061000000-0x00000000611fffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000061e00000-0x00000000687fffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000c0000000-0x00000000cfffffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000fe000000-0x00000000fe010fff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000fec00000-0x00000000fec00fff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000fed00000-0x00000000fed00fff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000fed20000-0x00000000fed7ffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000fee00000-0x00000000fee00fff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x00000000ff000000-0x00000000ffffffff] reserved
Feb 17 17:40:13 proxmox kernel: BIOS-e820: [mem 0x0000000100000000-0x00000002977fffff] usable
Feb 17 17:40:13 proxmox kernel: NX (Execute Disable) protection: active
Feb 17 17:40:13 proxmox kernel: efi: EFI v2.8 by American Megatrends
Feb 17 17:40:13 proxmox kernel: efi: ACPI=0x55e40000 ACPI 2.0=0x55e40014 TPMFinalLog=0x55dac000 SMBIOS=0x59474000 SMBIOS 3.0=0x5947300>
Feb 17 17:40:13 proxmox kernel: efi: Remove mem76: MMIO range=[0xc0000000-0xcfffffff] (256MB) from e820 map
Feb 17 17:40:13 proxmox kernel: e820: remove [mem 0xc0000000-0xcfffffff] reserved
Feb 17 17:40:13 proxmox kernel: efi: Not removing mem77: MMIO range=[0xfe000000-0xfe010fff] (68KB) from e820 map
Feb 17 17:40:13 proxmox kernel: efi: Not removing mem78: MMIO range=[0xfec00000-0xfec00fff] (4KB) from e820 map
Feb 17 17:40:13 proxmox kernel: efi: Not removing mem79: MMIO range=[0xfed00000-0xfed00fff] (4KB) from e820 map

Code:

root@proxmox:~# proxmox-boot-tool kernel list
Manually selected kernels:
None.

Automatically selected kernels:
6.2.16-20-pve
6.5.11-7-pve
6.5.11-8-pve

Es laufen keine Energiesparoptionen im BIOS.

Bin ratlos und etwas überfordert.

Beste Grüße

Falk R. · Feb 18, 2024

Ein Split Lock lässt den Kernel crashen.
Was hast du sonst noch auf dem PVE installiert? Das passiert eigentlich nur wenn du Software installiert hast die nicht ganz sauber läuft. Manchmal passiert das auch, wenn man sogenannte Optimierung Scripts über den PVE laufen lässt. Die verbiegen auch gern Dinge, was zu instabilen Systemen führt.

nousefor82 · Feb 18, 2024

@Falk R.

Servus,

da läuft nur der ioBroker in einem Container. Sonst hab ich weder was optimiert noch oder irgendwelche Software installiert.

Falk R. · Feb 18, 2024

Dann eventuell mal Memtest laufen lassen um auszuschließen, dass ein RAM Riegel defekt ist.
Es gibt einige Leute, die per Script, die no-subscription Meldung entfernen. Das hat auch schon oft zu Fehlern geführt, da die Scripte oft nicht so sauber sind und tief im System eingreifen.

nousefor82 · Feb 18, 2024

@Falk R.

Kannst du mir bitte genau schreiben was ich eingeben muss?

Ich bin wie gesagt ein totaler Depp was das alles anbelangt.

Danke

Falk R. · Feb 18, 2024

Memtest kannst du einfach von jeder beliebigen Live CD ausführen oder auch von der Proxmox installer iso. Ob man das nach der Installation auch über GRUB auswählen kann weiß ich nicht, meine Systeme laufen ohne Monitor.
Wenn keins von den beliebten Scripten ausgeführt hast, können wir das schon mal ausschließen.

nousefor82 · Feb 18, 2024

Nope, es wurde kein script ausgeführt.

nousefor82 · Feb 20, 2024

Falk R. said:
Memtest kannst du einfach von jeder beliebigen Live CD ausführen oder auch von der Proxmox installer iso. Ob man das nach der Installation auch über GRUB auswählen kann weiß ich nicht, meine Systeme laufen ohne Monitor.
Wenn keins von den beliebten Scripten ausgeführt hast, können wir das schon mal ausschließen.

MEMTEST hat keinen Fehler ausgeworfen.

OlliM1810 · Jul 12, 2024

Hi, hast Du mittlerweile eine Lösung gefunden? ich habe exakt das gleiche problem.

Proxmox nach einiger Zeit nicht mehr erreichbar

New Member

Proxmox Staff Member

Active Member

New Member

Attachments

New Member

Member

Proxmox Staff Member

New Member

New Member

New Member

New Member

New Member

Distinguished Member

New Member

Distinguished Member

New Member

Distinguished Member

New Member

New Member

New Member