Hallo,
ich habe einen No-Subscription-2-Node-Cluster von 4.4 auf Proxmox 5.0 aktualisiert. Die beiden Nodes sind jeweils mit einem bond0 aus 2 x 1 GB verbunden. Also jeweils ein eth0 und eth1-Host-Netzadapter als bond0 zusammengefasst und der gesamte Netzverkehr (Cluster und VM-Betrieb, etc) läuft über dieses eine bond0. Als Gateway und Router zum Internet läuft eine Fritzbox 7490 (192.168.1.1).
Am ersten Node (prox-1) laufen auf rund 100 GB RAM sowohl Linux-LXC-Container als auch KVM-Maschinen (Lin und Win) problemlos - vor und nach dem Upgrade auf PVE 5.0.
Am zweiten Node (prox-2) laufen zwei Linux-LXC-Container problemlos, auch nach der Aktualisierung beider Nodes.
PROBLEM: Ich habe auf unterschiedlichste Arten versuchten einen von Hyper-V kommenden Windows-Server auf prox-2 zu migrieren - konnte aber nie eine stabile, korrekte Netzwerkverbindung erzielen. Mittlerweile habe ich sogar eine frische Windows-Neu-installation auf mehrere Arten versucht, kann erfolgreich und performant installieren (mit den Plattentypen und -themen komme ich klar), scheitere aber immer an folgendem, nur auf dieser Node und nur bei Windows-KVM-maschinen:
Die VM hat einen E1000-vmbr0-Netzadapter mit z.B. der IP: 192.168.1.230/24 und zeigt aufs Gateway 192.168.1.1. Ich kann dann z.B. das Gateway nicht anpingen, oder nach 1-2 min nicht mehr anpingen, obwohl ich z.B. den prox-2-Host unter 192.168.1.200 anpingen kann. Auf dem prox-1 existieren identischen Konfigurationen und alles funktioniert. Firewalls sind momentan natürlich ausgeschaltet.
Vermutung: Da ich selbst bei einer simplen Standard-neu-Installation einer Win-KVM-Maschine Netzwerkprobleme habe, vermute ich die Probleme beim Bonding.
Und siehe da: "dmesg | grep eth1" bzw eth0 und/ oder journalctl | grep bond0" zeigen auf dem funktionierenden prox-1 eine r8169-Karte und eine Intel pro/1000-Karte die ohne Fehlermeldungen zusammenarbeiten.
Am problematischen prox-2-Node sieht dies aber so aus:
ep 21 19:39:19 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 21 19:39:19 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 21 19:39:23 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 21 19:39:23 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 21 19:39:35 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 21 19:39:35 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 21 19:40:18 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 21 19:40:18 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 00:21:34 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 22 00:21:34 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 22 00:21:38 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 22 00:21:38 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 00:21:50 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 22 00:21:50 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 22 00:22:33 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 22 00:22:33 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 10:36:45 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:36:45 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:48 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:54 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:55 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:47:07 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:47:07 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:48:05 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:48:05 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Mir scheint daher, dass etwas bei der Netzwerk-Konfiguration des prox-2 und seines bond0-Geräts nicht funktioniert. Kann mir hierzu jemand hilfreiche Hinweise geben?
ich habe einen No-Subscription-2-Node-Cluster von 4.4 auf Proxmox 5.0 aktualisiert. Die beiden Nodes sind jeweils mit einem bond0 aus 2 x 1 GB verbunden. Also jeweils ein eth0 und eth1-Host-Netzadapter als bond0 zusammengefasst und der gesamte Netzverkehr (Cluster und VM-Betrieb, etc) läuft über dieses eine bond0. Als Gateway und Router zum Internet läuft eine Fritzbox 7490 (192.168.1.1).
Am ersten Node (prox-1) laufen auf rund 100 GB RAM sowohl Linux-LXC-Container als auch KVM-Maschinen (Lin und Win) problemlos - vor und nach dem Upgrade auf PVE 5.0.
Am zweiten Node (prox-2) laufen zwei Linux-LXC-Container problemlos, auch nach der Aktualisierung beider Nodes.
PROBLEM: Ich habe auf unterschiedlichste Arten versuchten einen von Hyper-V kommenden Windows-Server auf prox-2 zu migrieren - konnte aber nie eine stabile, korrekte Netzwerkverbindung erzielen. Mittlerweile habe ich sogar eine frische Windows-Neu-installation auf mehrere Arten versucht, kann erfolgreich und performant installieren (mit den Plattentypen und -themen komme ich klar), scheitere aber immer an folgendem, nur auf dieser Node und nur bei Windows-KVM-maschinen:
Die VM hat einen E1000-vmbr0-Netzadapter mit z.B. der IP: 192.168.1.230/24 und zeigt aufs Gateway 192.168.1.1. Ich kann dann z.B. das Gateway nicht anpingen, oder nach 1-2 min nicht mehr anpingen, obwohl ich z.B. den prox-2-Host unter 192.168.1.200 anpingen kann. Auf dem prox-1 existieren identischen Konfigurationen und alles funktioniert. Firewalls sind momentan natürlich ausgeschaltet.
Vermutung: Da ich selbst bei einer simplen Standard-neu-Installation einer Win-KVM-Maschine Netzwerkprobleme habe, vermute ich die Probleme beim Bonding.
Und siehe da: "dmesg | grep eth1" bzw eth0 und/ oder journalctl | grep bond0" zeigen auf dem funktionierenden prox-1 eine r8169-Karte und eine Intel pro/1000-Karte die ohne Fehlermeldungen zusammenarbeiten.
Am problematischen prox-2-Node sieht dies aber so aus:
ep 21 19:39:19 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 21 19:39:19 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 21 19:39:23 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 21 19:39:23 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 21 19:39:35 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 21 19:39:35 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 21 19:40:18 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 21 19:40:18 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 00:21:34 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 22 00:21:34 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 22 00:21:38 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 22 00:21:38 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 00:21:50 prox-2 kernel: r8169 0000:09:00.0 eth1: link down
Sep 22 00:21:50 prox-2 kernel: bond0: link status definitely down for interface eth1, disabling it
Sep 22 00:22:33 prox-2 kernel: r8169 0000:09:00.0 eth1: link up
Sep 22 00:22:33 prox-2 kernel: bond0: link status definitely up for interface eth1, 1000 Mbps full duplex
Sep 22 10:36:45 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:36:45 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:48 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:54 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:41:55 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:47:07 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:47:07 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:48:05 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Sep 22 10:48:05 prox-2 kernel: vmbr0: received packet on bond0 with own address as source address (addr:00:24:1d:ce:26:a1, vlan:0)
Mir scheint daher, dass etwas bei der Netzwerk-Konfiguration des prox-2 und seines bond0-Geräts nicht funktioniert. Kann mir hierzu jemand hilfreiche Hinweise geben?