[SOLVED] Probleme mit APT nach Hardwaretausch

[anpa1234]

Guten Tag,

nach dem Zurückspielen aller VMs und LXC aus dem Backup auf einen neuen Rechner funktioniert alles ohne Probleme, außer dass PVE und die Linux-Gäste keine APT mehr ausführen können. Die Fehlermeldung ist "Warte auf Kopfzeilen". Auf der alten Maschine funktionierte das bis zum letzen Backup ohne Probleme. Es hat sich lediglich die Hardware geändert. Alle VMs, inkl. der Opnsense als Router benutzen die Libvirt-Treiber. Die Netzwerkeinstellungen im Proxmoxserver habe ich 1:1 übernommen. PVE installierte ich gestern mit der V7.2.
Die Gäste laufen alle, das Internet und die Dienste im Heimnetzwerk sind alle ohne Probleme erreichbar, nur die Installation von Paketen mittels APT funktionieren nicht mehr.

Vielleicht kann mir jemand helfen.

Beste Grüße

 

[Deleted member 116138]

Wie hast Du die Internetverbindung der VMs denn getestet? Wenn pings rausgehen bedeutet das nicht unbedingt, dass alles sauber konfiguriert ist. Ich vermute mal ein DNS-Problem. Was ergeben denn nslookups auf den Linux VMs? Bspw. nslookup proxmox.com ?

 

[anpa1234]

Was ergeben denn nslookups auf den Linux VMs? Bspw. nslookup proxmox.com

nslookup löst auf allen VMs und auf dem PVE selber richtig auf:

my@pve:~$ nslookup proxmox.com
Server:         192.168.123.254
Address:        192.168.123.254#53

Non-authoritative answer:
Name:   proxmox.com
Address: 212.224.123.69

Ich stelle aber gerade fest, dass mein Client - da läuft eine Debian Sid - problemlos APT benutzen kann. So scheint das Problem auf den PVE-Host nebst Gäste beschränkt zu sein.

 

[Dunuin]

Und du hast auch nicht vergessen von der Enterprise auf die No-subscription Repo zu wechseln, sofern du keine Subscription hast?

 

[Deleted member 116138]

Gehen denn wget oder curl Befehle vom PVE oder den VMs? Wie sieht denn die LAN config des PVE aus?

 

[anpa1234]

Und du hast auch nicht vergessen von der Enterprise auf die No-subscription Repo zu wechseln, sofern du keine Subscription hast?

Die Repos sind sind in diesem Fall auf "No-subscription" gestellt.

 

[anpa1234]

Gehen denn wget oder curl Befehle vom PVE oder den VMs? Wie sieht denn die LAN config des PVE aus?

Wget stellt die Verbindung her, doch dann hängts:

--2022-05-16 07:51:19--  https://ftp.de.debian.org/debian
Auflösen des Hostnamens ftp.de.debian.org (ftp.de.debian.org)… 141.76.2.4
Verbindungsaufbau zu ftp.de.debian.org (ftp.de.debian.org)|141.76.2.4|:443 … verbunden.

Meine Netzwerkkonfig ist identisch zu der vor dem Hardwaretausch, natürlich mit angepassten Interfaces:

auto lo
iface lo inet loopback

auto enp1s0
iface enp1s0 inet manual

auto vmbr666
iface vmbr666 inet manual
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0

auto eno1
iface eno1 inet manual

auto vmbr0
iface vmbr0 inet manual
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 123 1413 1737
        
auto vmbr0.123
iface vmbr0.123 inet static
       address 192.168.123.222/24
       gateway 192.168.123.254

 

[Deleted member 116138]

Und die DNS config unter System -> DNS? Gateway/DNS sind nicht nur im Subnet 123, sondern auch im VLAN 123?

 

[anpa1234]

Ja, der DNS-Server ist im VLAN123 und erreichbar. Der DNS-Server .123.254 ist auch der Gateway, also die Opnsense, die als Upstream-DNS, über die vmbr666 (untagged) auf die vorgelagerte Fritzbox mit Google u. Cloudflare als DNS-Server verweist.

 

[Deleted member 116138]

Hmmm… nutzt Dein Client ebenfalls das virtuelle Gateway? Oder geht der direkt über die Fritzbox? Irgendwo muss es ja „klemmen“. Ich nehme an, dass OPNsense als exposed host in der Fritte eingetragen ist? Was Fritzboxen nicht auf die Reihe bekommen, sind Änderungen an statischen Hosts. Selbst wenn IP und MAC identisch geblieben sind. Falls OPNsense als exposed host oder für NAT/Freigaben eingetragen ist, dann lösche das Gerät in der Fritte mal, Fritte neu starten und OPNsense neu hinzufügen.

 

[anpa1234]

Ja, die Opnsense ist als "exposed host" in der Fritzbox eingetragen und ja, mein Linuxclient nutzt ebenfalls das (virtuelle) Gateway der Opnsense. Ich kann mich auch von außen problemlos über OpenVPN zur Opnsense verbinden. Die Erneuerung der Verbindung von der Fritzbox zur Opnsense über Exposed Hosts hatte ich bereits gestern gemacht. Nur löschte ich aber die ungenutzten Verbindungen nicht und startete die FB nicht neu. Das werde ich nach 17:00 Uhr durchführen.

 

[anpa1234]

Die Fritzbox wurde um der ungenutzten, auf Opnsense zeigenden Verbindungen bereinigt und neu gestartet. Den Kabelweg habe ich geprüft und die Exposed Host Funktion wieder neu eingerichtet. Das half nur nicht.
Die Opnsense hatte ich zuvor auch am externen Interface auf DHCP gestellt, ohne das dies das Problem löste.

 

[Deleted member 116138]

Sehr merkwürdig. Kannst Du denn von der Sense aus fehlerfrei nach außen Verbindungen aufbauen, bspw. nach Updates suchen oder via die Shell raus?

 

[anpa1234]

Ja, das probierte ich bereits. Ich holte mir aus dem Backup auch ein Stand der Opnsense mit der ersten Firmware aus diesem Jahr (V 22.1) - gleiches Problem - und updatete die Sense auf die aktuelle 22.1.7_1. Das Update als auch das Verbindungsaudit auf der Firewall funktionieren; nur halt APT nicht in der virtuellen Umgebung. Dazu habe ich in der aktuell geupdateten Firewall, Sensei, Suricata deinstalliert, die Regeln dafür eliminiert und den Proxy ausgeschalten, auch wieder ohne Erfolg.
Um ein Problem mit dem Majorrelease der Opnsense u./o. Zenarmor auszuschließen werde ich heute Nachmittag ein Backup von letztem Jahr installieren und testen nun auch mit den älteren Images auftritt.
Eigenartig ist allerdings dass ich aus meinem Backupdaten erfuhr, dass ich bereits mein PVE auf 7.2 geupdated hatte, alle Images, nebst PVE-Konfigs auf den Backupserver übertrug, und nun mit neuer Hardware dieser Fehler zum tragen kommt.
Eigenartig ist auch, das ich im Log des PVE die Fehlermeldung

ethtool: autonegotiation is unset or enabled, the speed and duplex are not writable.

finde, nämlich immer dann wenn die vmbr.666 beim Neustart der OPNSense initialisiert wird.

 

[anpa1234]

Ich fand den Fehler, der wohl beim der aktuellen Squidversion der Opnsense zu verorten ist. Dieser Beitrag (Link) wurde von den Ubuntuleuten verhandelt. Die Lösung ist in meinem Fall der direkte Verweis auf den transparenten Proxy der Opnsene für APT-Anfragen.
Die erzeugte Datei /etc/apt/apt.conf.d/100aptconf sieht so aus:

Acquire::http::proxy "http://192.168.123.254:3128";
Acquire::https::proxy "http://192.168.123.254:3128";

Warum das nun notwendig wurde, ist mir nicht ganz klar.

 

[anpa1234]

Danke, @Huch für die Unterstützung!

 

[Dunuin]

Komisch, da muss ich auch mal bei mir gucken. Hier läuft APT normal mit aktuellstem PVE über das aktuellste OPNsense (als VM auf selben Host).
Mein PVE läuft allerdings auf einem aktuellem Debian Bullseye und wurde nicht über die PVE Iso installiert.
Vielleicht macht das ja einen Unterschied.

 

[anpa1234]

@Dunuin - Das kann tatsächlich ein Indiz sein. Mit meiner alten Hardware machte ich von PVE 6.x Updates bis zur Umstellung auf den neuen Rechner. Diesen installierte ich wie oben erwähnt mit dem PVE 7.2 Image.

Findest du bei dir die Fehlermeldung vom ethtool?

 

[Dunuin]

@Dunuin - Das kann tatsächlich ein Indiz sein. Mit meiner alten Hardware machte ich von PVE 6.x Updates bis zur Umstellung auf den neuen Rechner. Diesen installierte ich wie oben erwähnt mit dem PVE 7.2 Image.

Findest du bei dir die Fehlermeldung vom ethtool?

Jup, die Ethtool Warnungen wie "May 18 05:40:07 Hypervisor systemd-udevd[3314709]: ethtool: autonegotiation is unset or enabled, the speed and duplex are not writable." spammen mir auch die logs zu, aber APT funktioniert trotzdem. Und wenn ich es richtig deute kommen die Meldungen immer nur dann, wenn ich Backups zum PBS durchführe.

 

[anpa1234]

@Dunuin - Danke für die Rückmeldung.

Das ursprüngliche Apt-Problem würde ich innerhalb der OPNSense weiter verfolgen. Auf Grund des angegebenen Lösungsvorschlags könnte es tatsächlich eine Irritation innerhalb des Proxies sein, doch auch das ist derzeit zu spekulativ.