pve, vlans, unifi (zum x-ten Mal)

[sgw]

Hallo, Kollegen,
ich stehe grade gewaltig am Schlauch und bräuchte einen Blick von außen.

Ein Kunde hat einen PVE-Server auf einer Appliance mit 6 phyischen NICs (enp2s0-enp7s0).

Darin läuft eine VM mit pfSense CE mit 2 virtuellen NICs (WAN und LAN), diese hängen an 2 bridges:

```
auto lo
iface lo inet loopback

iface enp7s0 inet manual

iface enp2s0 inet manual
#pfSense WAN

iface enp3s0 inet manual
#LAN

iface enp4s0 inet manual

iface enp5s0 inet manual

iface enp6s0 inet manual

auto vmbr1
iface vmbr1 inet static
address 172.20.0.3/24
gateway 172.20.0.1
bridge-ports enp2s0
bridge-stp off
bridge-fd 0
#bridge WAN fritzbox pfsense

auto vmbr2
iface vmbr2 inet manual
bridge-ports enp3s0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
#pfSense LAN
```

vmbr2 -> enp3s0 ... soll Trunk-Port in Richtung eines Unifi-Switches werden.

Und es existiert eine VM (Unifi-Controller) mit einer vNIC und tag 100 ... und VLAN 100 existiert in der pfSense, und die COntroller-VM hat inet und sieht die pfsense in dem VLAN : soweit nett.

Der Kunde wünscht sich das VLAN100 als Management-VLAN für APs, Switches etc / ich bin da skeptisch, versuche das aber zu realisieren (und habe Probleme, wie Ihr seht).

### Status laut meinem Verständnis

Der Switch ist per default in VLAN1 konfiguriert und sucht in diesem (non-tagged) VLAN seinen Controller.

Der Controller ist in VLAN100, und dieses VLAN100 gelangt zur Zeit tagged an den Switch ... ergo kein Adoptieren etc

Wie gehe ich vor?

Lieber VLAN1 als management nehmen, und VLAN100 als zB LAN für PCs?

vmbr2 umkonfigurieren? vmbr2.100 hinzufügen ... ? ich hab alles Mögliche versucht, sehe aber den Wald vor lauter Bäumen nicht mehr.

Bitte zeigt mir, wo ich grad falsch liege. Ich bin sicher, ich habe bald einen Aha-Moment. (habe sowas auch schon gemacht, nur heute ... klappt es bislang so gar nicht)

Danke!

 

[sgw]

Mittlerweile alles in VLAN1 adoptiert etc ... zum Start ... Der fehlende DHCP-Server war auch Teil der Problematik ;-)
Jetzt habe ich die Geräte also im nativen VLAN und kann theoretisch VLANs in ESSIDs verwenden.

Mir erscheint es gerade umständlich, VLAN100 als Management VLAN zu verwenden, VLAN1 wäre ja quasi schon funktional als solches, und PCs etc könnten ja dann in andere VLANs "verteilt" werden.

Ich weiß, da gibt es zig Meinungen und Varianten. Hints welcome!

 

[sgw]

ich hab im unifi-GUI den Switch auf native VLAN 100 gesetzt und eine korrekte IP etc in dem VLAN statisch eingetragen

Der Switch wurde danach neu gestartet. Taucht aber nicht mehr auf im Netzwerk, weder unter der davor vergebenen IP im LAN, noch unter der neuen IP im VLAN100.

VMs an vmbr2 in dem VLAN100 sehen einander. Nur das physische Gerät Switch an der physischen NIC klappt nicht.

Brauche ich ein vmbr2.100 ? ein enp3s0.100 ? Ich versuche beides ohne Erfolg ...

vmbr2:

```
auto vmbr2
iface vmbr2 inet manual
bridge-ports enp3s0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
```

sollte ja Tags senden auf enp3s0, oder nicht?

 

[sgw]

Mittlerweile klappt der Spaß, ich liefere Infos nach, sobald ich ausgerastet bin ;-) danke Euch

 

[sgw]

Ich werde das jetzt optional noch umbauen auf einen bond aus enp3s0 und enp4s0. Damit dann wieder nichts mehr geht

 

[news]

Ja wenn man weiß was man macht und dies durch die Doku absichert, funktioniert auch ein Bond mit einer virtuellen Bridge zusammen. Oder?

 

[sgw]

Sieht bislang gut aus, allerdings wird das 2. Kabel erst morgen in den Switch gesteckt (welcher noch 2 Ports als LAG konfiguriert bekommt, klar).
Aktuell klappt alles.

Interessanterweise begann es gestern "plötzlich" zu funktionieren, nachdem ich zuerst `enp3s0.100` hinzugefügt und wieder entfernt hatte.
Ich kann es nicht mehr 100% gedanklich rekonstruieren.

Und natürlich versuche ich der Doku zu folgen. Dennoch stößt man immer wieder mal auf Verständnis-Probleme ... sonst bräuchte es wohl auch kein Forum ;-)

Aktuell hab ich das drin, Prüfung willkommen:

auto lo
iface lo inet loopback

iface enp7s0 inet manual

iface enp2s0 inet manual
#pfSense WAN

auto enp3s0
iface enp3s0 inet manual
#LAN

auto enp4s0
iface enp4s0 inet manual

iface enp5s0 inet manual

iface enp6s0 inet manual

auto bond0
iface bond0 inet manual
    bond-slaves enp3s0 enp4s0
    bond-miimon 100
    bond-mode balance-rr

auto vmbr1
iface vmbr1 inet static
    address 172.20.0.3/24
    gateway 172.20.0.1
    bridge-ports enp2s0
    bridge-stp off
    bridge-fd 0
#bridge WAN fritzbox pfsense

auto vmbr2
iface vmbr2 inet static
    address 192.168.0.2/24
    bridge-ports bond0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094
#LAN bridge

source /etc/network/interfaces.d/*

thanks

 

[news]

Super Glückwunsch!

iface bond0 inet manual
    bond-slaves enp3s0 enp4s0
    bond-miimon 100
    bond-mode balance-rr

Hier würde ich für LACP =/ balance-rr nachbessern:

* Round-robin (balance-rr): Transmit network packets in sequentialorder from the first available network interface (NIC) slave throughthe last. This mode provides load balancing and fault tolerance.

* IEEE 802.3ad Dynamic link aggregation (802.3ad)(LACP): Createsaggregation groups that share the same speed and duplexsettings. Utilizes all slave network interfaces in the activeaggregator group according to the 802.3ad specification

# https://pve.proxmox.com/wiki/Network_Configuration

 

[sgw]

@news danke, völlig richtig. Ich hatte nur schnell schnell den default dazu geklickt. Ändere ich noch ab.

Und ich brauche noch eine IP am PVE, die im VLAN100 liegt, in diesem VLAN soll dann unter Anderem der PBS laufen etc

EDIT: bräuchte ich für diese VLAN100-IP eine extra Bridge mit IP?

 

[sgw]

LACP klappt bereits, 2x2.5GbE zu einem Unifi-Switch. Nice. Danke

 

[sgw]

Kann mir hier noch jemand was dazu sagen:

Zu der Frage mit der IP im VLAN100 bräuchte ich noch einen Tip, bitte.

Der PVE soll mit dem PBS (der eine VM ist) in dem gesonderten VLAN100 sprechen können.

Da bin ich noch unschlüssig, wie das zu realisieren ist, und aktuell will ich nicht mehr zu viel rumprobieren, der Kunde verwendet schon VMs auf dem PVE. Danke!