Auf verlorenem Posten ohne Netz

[geekdot]

Hallo Zusammen,
Ich glaube ich habe gegen Proxmox (8.4.14, Kernel 6.8.12-17) verloren und hoffe Ihr habt eine Idee.

Was bisher geschah:
Nach und nach waren VMs meines Proxmox-Servers (NAS, schon einiges an Uptime) nicht mehr im Netz erreichbar. Als ich in der UI nachschauen wollte gab mir die auch einen Timeout.
Ok, ohne ssh half nix mehr als ein harter Power-Cycle mit einem Bildschirm und Keyboard dran. Und siehe da, eine Menge services kommen nicht mehr hoch, angefangen mit der firewall. Kein blinky-blinky am switch? Sind die Ports denn live? Nein... Netzwerk komplett tot. Es pingt weder rein noch raus.

Ein 'ip link show' zeigt mir enp1s0 und enp2s0 als DOWN.

Kein Wunder also, daß auch der pveproxy nicht läuft... und spielen mit 'ifup' (oder 'ifdown') werfen Fehler wie "No Module named 'ifupdown2'"


Die /etc/network/interfaces sieht IMHO ok aus.

Ja, mein NAS hat 2 Intel NICs und ich habe auch diesen Post (Proxmox 6.8.x Kernels Break Networking) gesehen... aber ohne Netz bekomme ich halt nix rein in die Kiste.
Keine packages, keine Kernel- oder Proxmox updates... Nun bleibt mir nur noch dieses Forum mit Euch Zauberern.

Ich danke schon jetzt artig für jeden Tip und Hinweis und viele Grüße,
Axel

 

[fstrankowski]

Sieht für mich mehr nach einem generellen Systemproblem aus. Platte defekt, System zerschossen, ifupdown deinstalliert / bricked sich nicht einfach so, das hat schon schwerwiegende Gründe.

 

[news]

Tipp lege dir bitte mal einen USB 3.0 -> NIC 1 GBit/s Netzwerkadapter zu.
Meine sind noch aus der USB 2.0 Zeit, da konnte man 100 MBit/s erreichen.
Das reicht auch aus, um ein System aus den Stand wieder ans lokale Netzwerk zu bekommen.
Dann kann man sich einfach wieder Debian Pakete installiren.

 

[fstrankowski]

Tipp lege dir bitte mal einen USB 3.0 -> NIC 1 GBit/s Netzwerkadapter zu.
Meine sind noch aus der USB 2.0 Zeit, da konnte man 100 MBit/s erreichen.
Das reicht auch aus, um ein System aus den Stand wieder ans lokale Netzwerk zu bekommen.
Dann kann man sich einfach wieder Debian Pakete installiren.

Erklärt aber nicht das ifupdown bei ihm nicht startet. Idee würde ich trotzdem machen, UGREEN Adapter bei Amazon (1G oder 2.5G) kann beide empfehlen, laufen bei mir seit 1+ Jahr unter Proxmox.

 

[news]

was gibt den ip addr show aus?

 

[geekdot]

Tipp lege dir bitte mal einen USB 3.0 -> NIC 1 GBit/s Netzwerkadapter zu.

Gnaa, danke... da hätt' ich ja auch mal dran denken können. 5min gebuddelt und ta-daaaa! USB NIC.

Drangeflanscht, ip addr add .... und ein dhclient und die Büchse ist online! <3

Ein 'apt update' lief problemlos... das 'apt full-upgrade' wirft mir die gleiche Menge von "Failed to start xyz.service".
Angefangen bei pveproxy.service über rrdcached, pve-cluster, pve-deamon
Da ist irgendwo noch hart der Wurm drin...

Sieht für mich mehr nach einem generellen Systemproblem aus. Platte defekt, System zerschossen, ifupdown deinstalliert / bricked sich nicht einfach so, das hat schon schwerwiegende Gründe.

Wie gesagt, das System hat sich peu-a-peu vom Netzwerk verabschiedet. Am Ende war nur noch eine VM von 4 live. Vermutlich hatte die nie was geändert/updates gefahren oder einen Cache.
Logisch, nach meinem harten power-cycle jammerte Linux und verlangte einen manual repair. Daher lief lvconvert --repair pve/data und nun ist es bei jedem (sauberen) reboot/shoutdown zufrieden.

Aaaaaber: Isch 'abe ga kein /pve/data. Platte weg?
vgdisplay,lvdisplay und ls /dev/pve zeigen alle Volumes an. Also Platte/MVMe ist noch da.
ein pvesm status segfault'ed aber.

Mich beschleicht das Gefühl, daß es nur was Klitzekleines ist... ich bin aber leider zu wenig in der Materie.

 

[Impact]

Was sagt der upgrade Befehl denn genau? Prüfe auch mal die Logs mit zB. journalctl -ru pveproxy.service.

 

[fstrankowski]

Mich beschleicht das Gefühl, daß es nur was Klitzekleines ist... ich bin aber leider zu wenig in der Materie.

Ich machs mal kurz und empfehle Neuinstallation + Backups einspielen

 

[geekdot]

Ich machs mal kurz und empfehle Neuinstallation + Backups einspielen

Du ahnst es schon, ne... "Kein Backup, kein Mitleid"
Ich habe ein Backup der wichtigsten VM, ein XPenology. Da der Rest mehr oder minder Spielwiese ist, gibt es davon keine Backups... und natürlich auch nicht vom Proxmox config.

Was sagt der upgrade Befehl denn genau? Prüfe auch mal die Logs mit zB. journalctl -ru pveproxy.service.

Im 2. Anlauf lief der upgrade Befehl durch... hat aber nichts geändert.
Habe mal ins dmesg geschaut, da segfaulted jedes pve* binary:

[   15.142165] pvedaemon[979]: segfault at 0 ip 000073a19a6df00b sp 00007ffe829798d8 error 4 in libglib-2.0.so.0.7400.6[73a19a6bb000+8d000] likely on CPU 1 (core 1, socket 0)
[   15.142181] Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 48 8b 43 28 48 8b 7b 20 44 89 fa <42> 8b 34 b8 0f b6 43 18 a8 01 0f 84 c5 00 00 00 4c 8b 04 d7 48 8b
[   15.187273] pveproxy[980]: segfault at 0 ip 0000714fb90f000b sp 00007fff1e96f208 error 4 in libglib-2.0.so.0.7400.6[714fb90cc000+8d000] likely on CPU 0 (core 0, socket 0)
[   15.187292] Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 48 8b 43 28 48 8b 7b 20 44 89 fa <42> 8b 34 b8 0f b6 43 18 a8 01 0f 84 c5 00 00 00 4c 8b 04 d7 48 8b
[   16.323397] pvesh[982]: segfault at 0 ip 00007534d557b00b sp 00007ffffc56da18 error 4 in libglib-2.0.so.0.7400.6[7534d5557000+8d000] likely on CPU 1 (core 1, socket 0)
[   16.323416] Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 48 8b 43 28 48 8b 7b 20 44 89 fa <42> 8b 34 b8 0f b6 43 18 a8 01 0f 84 c5 00 00 00 4c 8b 04 d7 48 8b
[   16.335311] pvedaemon[983]: segfault at 0 ip 0000768e23cba00b sp 00007fff5cbff7b8 error 4 in libglib-2.0.so.0.7400.6[768e23c96000+8d000] likely on CPU 3 (core 3, socket 0)
[   16.335328] Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 48 8b 43 28 48 8b 7b 20 44 89 fa <42> 8b 34 b8 0f b6 43 18 a8 01 0f 84 c5 00 00 00 4c 8b 04 d7 48 8b
[   17.105898] pvescheduler[984]: segfault at 0 ip 00007ad5ab19300b sp 00007ffe68bd0018 error 4 in libglib-2.0.so.0.7400.6[7ad5ab16f000+8d000] likely on CPU 1 (core 1, socket 0)

Also habe ich mal zur Sicherheit den Memtest angeworfen. Alles problemlos durchgelaufen.

Im savemode gebootet ist das Linux per-se glücklich. Dann mal das journalcrl -xb angeschaut, wo der erste und einzige hick-up die config der network interfaces ist... mit dem bekannten ModuleNotFoundError: No module named 'ifupdown2'.