[SOLVED] Benötige Hilfe bei Netzwerk-Konfiguration

[mzurhorst]

Hallo zusammen.

Ich bin neuer Proxmox-User und kämpfe seit etlichen Tagen mit dem Setup des Netzwerks.
Nun wird es aber immer doller, so dass ich doch mal nach Hilfe fragen möchte.

Folgendes ist mein Ausgangslage:

• PC mit 4 Netzwerkkarten im Serverschrank. (davon werden 3 NICs genutzt)
• darauf läuft Proxmox
• darauf läuft OPNsense als Router/Firewall für mein Netzwerk
• OPNsense nutzt PPPoE und wählt sich über ein VDSL-Modem zum Provider ein
• NIC1 habe ich mittels PCIe-pass-through direkt an die OPNsense weitergereicht. Dieses Interface sollte für Proxmox quasi irreleant sein.

Ich habe nun in meiner Verzweiflung die /etc/network/interfaces nochmal komplett gelöscht und bei Null angefangen.
Folgendes steht jetzt da drin:

auto lo
iface lo inet loopback

auto enp1s0
iface enp1s0 inet manual
#OPNsense (PCIe pass-through for WAN)

auto enp2s0
iface enp2s0 inet manual
#OPNsense (LAN Trunk)

auto enp3s0
iface enp3s0 inet static
        address 192.168.1.60/24
#Emergency-Zugang für Proxmox

auto enp4s0
iface enp4s0 inet manual
#unused

auto vmbr2
iface vmbr2 inet static
        address 192.168.1.50/24
        gateway 192.168.1.1
        bridge-ports enp2s0
        bridge-stp off
        bridge-fd 0

Ich habe einen PC mit statischer IP-Adresse (192.168.1.3/24) angeschlossen an NIC3. Hierüber kann ich Proxmox sowohl auf der Adresse 192.168.1.50, als auch auf der 192.168.1.60 ereichen. (erwartet hätte ich, dass ich ihn hier nur auf der .60 erreichen kann, weil das Kabel ja da eingesteckt ist.


OPNsense hat nun das erste Interface als PCIe-Gerät durchgereicht bekommen. Dieses ist für WAN konfiguriert, und da kümmere ich mich erst später drum, wenn die LAN-Seite fertig ist.
Als zweites Interface habe ich die Bridge vmbr2 eingefügt für eben dieses LAN.


Was nun partout nicht klappt:

1. Ich kann das Web-Interface der OPNsense (unter 192.168.1.1) nur dann erreichen, wenn das Kabel im NIC2 einstecke.
2. Aber sobald ich im NIC2 bin, habe ich gleichzeitig kein Web-Interface mehr für Proxmox. (auf beiden IPs nicht)
3. Ich kann weder von der Proxmox Shell auf die OPNsense pingen, noch in die umgekehrte Richtung

Was ich gerne erreichen möchte:
Schritt 1:

• Kabel hängt am NIC2, und ich kann von da aus die Web-Interfaces von OPNsense und Proxmox erreichen (der PC kommt später weg, statt dessen wird am NIC2 der Switch angeschlossen)
• PC am NIC3 kann auf OPNsense und Proxmox zugreifen für Notfälle
• Ich kann LXC-Containern den vmbr2 zuweisen, und die ziehen sich dann IP-Adressen vom DHCP-Server der OPNsense

Schritt 2:

• Konfiguration von mehreren VLANs auf der vmbr2

Letzte Woche war ich schon mal deutlich weiter, und die VLANs liefen bereits. Verstehe gerade absolut nicht, warum ich mir bei diesem Setup mit 3 statischen IPs so sehr im Weg stehe. Was mache ich falsch?


Danke sehr und viele Grüße,
Marcus

 

[shrdlicka]

Hi,

ich mache mir etwas Sorgen das zwei interfaces im selben IP Subnet etwas die Routen "verwirrt". Du könntest mal probieren das Emergency Netz (enp3s0) auf ein anderes Subnet umstellen z.B. address 192.168.10.60/24.

 

[mzurhorst]

Danke, das ist ein sehr guter Hinweise. Da wäre ich nicht drauf gekommen.
Damit kann ich schon in beide Richtungen pingen. Da wäre ich nicht drauf gekommen.

Damit probiere ich mal weiter. Vielen Dank.

 

[mzurhorst]

So, bei den VLANs hänge ich nun auch wieder fest.
Mein LXC-Container bekomme keine IP-Adresse über das VLAN-Interface.

Ich habe meine Config wie folgt erweitert:

auto enp2s0
iface enp2s0 inet manual
#OPNsense (LAN Trunk)

auto enp3s0
iface enp3s0 inet static
        address 192.168.2.50/24
#Emergency-Zugang für Proxmox

auto vmbr2
iface vmbr2 inet static
        address 192.168.1.50/24
        gateway 192.168.1.1
        bridge-ports enp2s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 10-100
#andere Netze hinter OPNsense

auto vmbr2.10
iface vmbr2.10 inet static
        address 192.168.10.50/24
#VLAN10 (DMZ)

Alternativ mit DHCP:

auto vmbr2.10
iface vmbr2.10 inet dhcp

Was funktioniert aktuell:

• ein LXC mit dem "normalen" Bridge-Interface erhält eine IP-Adresse und kann alles erreichen. (untagged, das ist mein Management Netz)
• Mein Access Point verteit das VLAN. Mein Handy hat testweise eine IP-Adresse aus dem VLAN10 der OPNsense bekommen.

Was funktioniert aktuell nicht:

• ein LXC mit dem VLAN10 Interface erhält keine IP-Adresse zugewiesen über DHCP. Der Login dauert, da er auf das Timeout warten muss.
• ein LXC mit einer statischen IP-Adresse (192.168.10.51/24) kann ebenfalls nichts erreichen.

Aufgrund dieser Befunde gehe ich nun davon aus, dass VLAN und DHCP in der OPNsense korrekt sind.
Daher klemmt hier vermutlich der VLAN-Teil in PROXMOX noch.

 

[shrdlicka]

Hi,

du könntest mal nachsehen wie der traffic auf dem/den interface(s) aussieht. Das könnte beim Debugging helfen .

tcpdump  -e vlan

 

[mzurhorst]

Danke, sehr gut. Der Output ist umfangreich, und ich kann das nicht lesen.
Aber: da steht auch immer wieder "vlan 10" drin.

Ich habe nun zurück auf DHCP gestellt und bekomme in einem Client auch eine IP Adresse zugewiesen.
Warum auch immer, es funktioniert nun. Allerdings war mein Environment abgeschaltet und wurde vorhin erst wieder gebootet.
Funktionierendes Netzwerk selbst habe ich aber erst erhalten, nachdem ich eine "alles erlaubt" Firewall-Regel für das VLAN10 Interface eingetragen habe.

Also, nun klappt:

• IP Vergabe aus dem VLAN
• zwei LXCs aus dem VLAN können sich anpingen
• Ich kann von OPNsense und dem Proxmox Host im untagged LAN auf das VLAN10 zugreifen.
• Ich kann umgekehrt vom VLAN10 aus auf das Management-LAN zugreifen
• Ich komme von überall aus ins Internet

Nächste Schritte:

• noch 1-2 VLANs rein nehmen
• Switch und APs konfigurieren
• FW-Regeln erstellen (also raffinierter als "erlaube alles" )
• Container einrichten

Würde sagen, das war's. Vielen Dank.