Bridge funktioniert nach einiger Zeit teilweise nicht mehr

[mferner]

Hallo,

ich habe eine KVM-VM mit Debain am laufen. Diese ist über vmbr0 mit dem Netzwerk der Uni Ulm verbunden. Wir verwenden statische IP's. Wenn ich den VM-Host und die VM starte funktioniert alles wunderbar. Nach einiger Zeit kann ich mich jedoch per ssh nicht mehr in die VM einloggen. Der Verbindungsversuch meldet mich am VM-Host an statt an der VM.

Funktioniert weil das Passwort für root auf VM-Host und VM das gleiche ist. Ich weiß das ist nicht sicher. Das System ist aber vorerst auch nur ein Testsystem.

Mit VNC kann ich mich noch zur VM verbinden. Aus der VM bekomme ich dann ohne Probleme eine Internetverbindung.

Ein Neustart des Netzwerks des VM-Hosts ändert auch nichts an der Situation. Erst nach einem Neustart des VM-Hosts funktioniert alles wieder für ein oder mehrere Tage.

Ich vermute es gibt ein Problem mit vmbr0. Wie finde ich raus wo das Problem liegt? Ein Blick in /var/log/messages brachte mich auch nicht weiter.

Grüße
Michael Ferner

 

[LnxBil]

Hallo,

ich habe eine KVM-VM mit Debain am laufen. Diese ist über vmbr0 mit dem Netzwerk der Uni Ulm verbunden. Wir verwenden statische IP's. Wenn ich den VM-Host und die VM starte funktioniert alles wunderbar. Nach einiger Zeit kann ich mich jedoch per ssh nicht mehr in die VM einloggen. Der Verbindungsversuch meldet mich am VM-Host an statt an der VM.

Funktioniert weil das Passwort für root auf VM-Host und VM das gleiche ist. Ich weiß das ist nicht sicher. Das System ist aber vorerst auch nur ein Testsystem.

Das sollte dir ja auf jeden Fall einen SSH-Key-Mismatch Fehler bringen, oder?

Mit VNC kann ich mich noch zur VM verbinden. Aus der VM bekomme ich dann ohne Probleme eine Internetverbindung.

Ein Neustart des Netzwerks des VM-Hosts ändert auch nichts an der Situation. Erst nach einem Neustart des VM-Hosts funktioniert alles wieder für ein oder mehrere Tage.

Ich vermute es gibt ein Problem mit vmbr0. Wie finde ich raus wo das Problem liegt? Ein Blick in /var/log/messages brachte mich auch nicht weiter.

Hmm, das klingt sehr komisch. Zeig mal deine Bridge her:

brctl show

und jeweils ifconfig aus dem Host und Guest (Ausgabe für die betreffenden Einträge reicht falls es zu viele VMs sind)

 

[mferner]

Das sollte dir ja auf jeden Fall einen SSH-Key-Mismatch Fehler bringen, oder?

Tut es.

Hmm, das klingt sehr komisch. Zeig mal deine Bridge her:

brctl show

und jeweils ifconfig aus dem Host und Guest (Ausgabe für die betreffenden Einträge reicht falls es zu viele VMs sind)

VM-Host: brctl show
bridge name bridge id STP enabled interfaces
vmbr0 8000.10feed0505c0 no eth1
tap102i0
vmbr1 8000.00e07d919dd8 no eth2

VM-Host: ifconfig
eth0 Link encap:Ethernet HWaddr 60:a4:4c:2f:82:5f
inet addr:134.60.83.143 Bcast:134.60.83.255 Mask:255.255.255.0
inet6 addr: fe80::62a4:4cff:fe2f:825f/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:90026 errors:0 dropped:1136 overruns:0 frame:0
TX packets:7117 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:15042291 (14.3 MiB) TX bytes:4531842 (4.3 MiB)

eth1 Link encap:Ethernet HWaddr 10:fe:ed:05:05:c0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:136599 errors:0 dropped:0 overruns:0 frame:0
TX packets:44612 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:53712904 (51.2 MiB) TX bytes:25756886 (24.5 MiB)

eth2 Link encap:Ethernet HWaddr 00:e0:7d:91:9d:d8
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:80718 errors:0 dropped:0 overruns:0 frame:0
TX packets:10 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:11053249 (10.5 MiB) TX bytes:858 (858.0 B)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:12938 errors:0 dropped:0 overruns:0 frame:0
TX packets:12938 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:3062035 (2.9 MiB) TX bytes:3062035 (2.9 MiB)

tap102i0 Link encap:Ethernet HWaddr 76:1f:45:62:d3:2e
inet6 addr: fe80::741f:45ff:fe62:d32e/64 Scope:Link
UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1
RX packets:38634 errors:0 dropped:0 overruns:0 frame:0
TX packets:105904 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:25362242 (24.1 MiB) TX bytes:50340348 (48.0 MiB)

vmbr0 Link encap:Ethernet HWaddr 10:fe:ed:05:05:c0
inet addr:134.60.83.144 Bcast:134.60.83.255 Mask:255.255.255.0
inet6 addr: fe80::12fe:edff:fe05:5c0/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:71500 errors:0 dropped:1136 overruns:0 frame:0
TX packets:9 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:8302278 (7.9 MiB) TX bytes:690 (690.0 B)

vmbr1 Link encap:Ethernet HWaddr 00:e0:7d:91:9d:d8
inet addr:134.60.83.145 Bcast:134.60.83.255 Mask:255.255.255.0
inet6 addr: fe80::2e0:7dff:fe91:9dd8/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:71512 errors:0 dropped:1136 overruns:0 frame:0
TX packets:10 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:8303605 (7.9 MiB) TX bytes:840 (840.0 B)

Keine Ahnung wo tap102i0 herkommt. Ist zumindest nicht gewollt.

VM: ifconfig
eth0 Link encap:Ethernet Hardware Adresse 3a:34:33:35:38:36
inet Adresse:134.60.83.144 Bcast:134.60.83.255 Maske:255.255.255.0
inet6-Adresse: fe80::3834:33ff:fe35:3836/64 Gültigkeitsbereich:Verbindung
UP BROADCAST RUNNING MULTICAST MTU:1500 Metrik:1
RX packets:109605 errors:0 dropped:5149 overruns:0 frame:0
TX packets:38803 errors:0 dropped:0 overruns:0 carrier:0
Kollisionen:0 Sendewarteschlangenlänge:1000
RX bytes:50753026 (48.4 MiB) TX bytes:25383800 (24.2 MiB)

lo Link encap:Lokale Schleife
inet Adresse:127.0.0.1 Maske:255.0.0.0
inet6-Adresse: ::1/128 Gültigkeitsbereich:Maschine
UP LOOPBACK RUNNING MTU:65536 Metrik:1
RX packets:28 errors:0 dropped:0 overruns:0 frame:0
TX packets:28 errors:0 dropped:0 overruns:0 carrier:0
Kollisionen:0 Sendewarteschlangenlänge:0
RX bytes:1680 (1.6 KiB) TX bytes:1680 (1.6 KiB)

 

[LnxBil]

Gerade das TAP-Gerät war interessant. Es wird zu jeder VM ein eigenes TAP-Gerät angelegt, sodass man

• Firewalling pro VM von außen hat (sehr, sehr nützlich)
• Debugging pro VM auf Netzwerkebene machen kann

Dieses Gerät wird dann wie oben beschrieben in die Brücke eingehängt.

Warum gibt es zwei Brücken, die im gleichen Netz hängen? Das verwirrt bestenfalls oder ist sogar "schädlich". Bondet doch die beiden Interfaces und legt die Brücke über das Bonding, das ist wahrscheinlich eher das was ihr wollt.

 

[mferner]

Gerade das TAP-Gerät war interessant. Es wird zu jeder VM ein eigenes TAP-Gerät angelegt, sodass man

• Firewalling pro VM von außen hat (sehr, sehr nützlich)
• Debugging pro VM auf Netzwerkebene machen kann

Dieses Gerät wird dann wie oben beschrieben in die Brücke eingehängt.

Warum gibt es zwei Brücken, die im gleichen Netz hängen? Das verwirrt bestenfalls oder ist sogar "schädlich". Bondet doch die beiden Interfaces und legt die Brücke über das Bonding, das ist wahrscheinlich eher das was ihr wollt.

Das Testsystem hat 3 Ethernetkarten (1 VM-Host, 2 für VM's). Wenn die Tests erfolgreich sind wird der alte VM-Host (2 Xeon's 24 Cores, 64 GB RAM, 10 Netzwerkschnittstellen) auf Proxmox umgestellt. Alle VM's haben eine statische IP im gleichen Subnetz. Da der Festplattenspeicher des alten VM-Hosts langsam zu neige geht wird über iSCSI ein NAS in eine VM (Samba-Server) gemountet. Das Synology NAS hat auch 4 Netzwerkschnittstellen die sich bonden lassen um besseren Datendurchsatz zu bekommen. Damit habe ich aber bisher keine Erfahrung.

Bisher habe ich es nicht anders hinbekommen als für jede VM eine Netzwerkschnittstelle und eine Bridge zu konfigurieren.

 

[dcsapak]

VM: ifconfig
eth0 Link encap:Ethernet Hardware Adresse 3a:34:33:35:38:36
inet Adresse:134.60.83.144 Bcast:134.60.83.255 Maske:255.255.255.0

vmbr0 Link encap:Ethernet HWaddr 10:fe:ed:05:05:c0
inet addr:134.60.83.144 Bcast:134.60.83.255 Mask:255.255.255.0

der host hat die gleiche ip auf vmbr0 gesetzt wie die vm, wieso das?

 

[mferner]

der host hat die gleiche ip auf vmbr0 gesetzt wie die vm, wieso das?

Mangels Kenntnisse in diesem Bereich. Ich hab mir Anleitungen im Netz zusammengesucht und es hat erst mal funktioniert. Ich weiß das eine Bridge eigentlich zwei Netzwerksegmente mit unterschiedlichen IP-Adressbereichen verbindet. Bei mir soll sie nur die Ethernetschnittstelle des VM-Hosts mit der VM über eine statische IP verbinden.

Ich habe jetzt mal die IP-Config auf der Bridge gelöscht und es funktioniert auch. Wozu dient dann die Möglichkeit einer IP-Config der Brigde? Für die Verbindung verschiedener IP-Segmente? Ich warte dann mal bis morgen ob die VM dann wieder nicht erreichbar ist.

Wie funktioniert das Bonden von Netzwerkschnittstellen? Ich würde gerne das NAS per iSCSI in eine Debian VM (Samba-Server) mounten. Das funktioniert schon, allerdings nur mit einer Gigabit-Leitung, was etwas mau vom Durchsatz ist.

Danke für die Nachhilfe
M. Ferner

 

[dcsapak]

Wozu dient dann die Möglichkeit einer IP-Config der Brigde?

in einer "normalen" Installation ist eine Ethernet Karte/ein Bond einer Bridge zugeordnet
damit man den host über dieses Netzwerk erreichen kann, kann man hier eine ip angeben
die vms können sich an diese bridge hängen, damit sie im netzwerk der ethernet karte der bridge sind

Wie funktioniert das Bonden von Netzwerkschnittstellen?

hier muss man zuerst die gewünschten Netzwerkkarten zu einem Bond zusammenführen (hier gibt es einige Modi)
siehe zb https://pve.proxmox.com/wiki/Bonding (ist aber kein spezielles Proxmox Thema)

und dann wieder den Bond einer Bridge zuordnen