Node-übergreifendes "virtuelles" Netzwerk

[MarkusH87]

Hallo zusammen

Ich betreibe 3 Nodes mit PVE 5.4, alle verbunden über einen Netgear GS-108T Switch.
Node1 besitzt 3 Netzwerkkarten - 2 davon sind als bond0 via LCAP zusammengeschlossen (auch auf dem Switch so konfiguriert etc.) - anschliessend als vmbr0 konfiguriert und den VMs zugeordnet.
Die 3. Karte ist direkt an den Router meines ISP angeschlossen und dient der virtuellen Firewall als "Zuleitung".
Die beiden anderen Nodes verwenden jeweils nur eine einzelne Netzwerkkarte, welche als vmbr0 verwendet wird.

Jetzt zu meinem Wunsch: ich würde gerne eine virtuelle DMZ einrichten, welche auf allen Nodes verfügbar ist und miteinander verbunden - also ein DMZ-Server auf dem Node 1 soll mit Einem auf dem Node 2 kommunizieren können.
Um das zu erreichen, kommen mir grundsätzlich mal 2 Gedanken/Ideen:

1. Die VMs einfach ans vmbr0 hängen und einen anderen IP-Range nutzen:
   Würde wohl theoretisch funktionieren, ist aber nicht wirklich sauber getrennt - ausserdem habe ich von diversen unschönen Nebeneffekten gehört, wenn einfach 2 IP-Netze das gleiche physische Netz nutzen
2. VLAN
   Ich habe mal auf allen 3 vmbr0 die VLAN-Awarness eingeschaltet und den jeweiligen DMZ-Netzwerkkarten eine VLAN-ID eingetragen, leider ohne Erfolg - es war keine node-übergreifende Verbindung möglich.
   Zudem muss das "Haupt-Netz" zwingend ohne VLAN-ID funktionieren - dort sind teilweise auch Geräte vorhanden, wo ich keine VLAN-ID einstellen kann/darf/möchte.

Ich vermute mal, dass es schon auf die Variante mit den VLAN hinausläuft, aber ich habe wohl einen Überlegungsfehler oder so gemacht.

Wer mir einen Tipp zur korrekten VLAN-Konfiguration und/oder eine alternative Idee geben kann...jederzeit gerne.

Danke schon mal und Gruss

Markus

 

[aaron]

Wenn auf min. einem der Nodes keine NIC mehr frei ist wirst du um VLANs wohl nicht herum kommen.

Die VMs einfach ans vmbr0 hängen und einen anderen IP-Range nutzen: Würde wohl theoretisch funktionieren, ist aber nicht wirklich sauber getrennt - ausserdem habe ich von diversen unschönen Nebeneffekten gehört, wenn einfach 2 IP-Netze das gleiche physische Netz nutzen

Das willst du in einer DMZ nicht! Sollte eine der VMs übernommen werden kann man sich leicht eine beliebige IP setzen, das Netz mit nmap scannen und generell Broadcast traffic abgreifen...

VLAN Ich habe mal auf allen 3 vmbr0 die VLAN-Awarness eingeschaltet und den jeweiligen DMZ-Netzwerkkarten eine VLAN-ID eingetragen, leider ohne Erfolg - es war keine node-übergreifende Verbindung möglich. Zudem muss das "Haupt-Netz" zwingend ohne VLAN-ID funktionieren - dort sind teilweise auch Geräte vorhanden, wo ich keine VLAN-ID einstellen kann/darf/möchte.

Hast du die Nodes nach dem Aktivieren der VLAN Awareness neu gestartet?

Ich vermute mal, dass es schon auf die Variante mit den VLAN hinausläuft, aber ich habe wohl einen Überlegungsfehler oder so gemacht.

Wer mir einen Tipp zur korrekten VLAN-Konfiguration und/oder eine alternative Idee geben kann...jederzeit gerne.

Grundsätzlich sollte dein Switch VLANs können (sehr wahrscheinlich).

Auf PVE Seite kannst du VLANs entweder mit VLAN aware bridges machen und bei jeder VM das VLAN definieren. Die andere etwas umständlichere Methode ist ein VLAN auf der NIC zu konfigurieren, (zB eno1.5) für VLAN 5 und dann eine dedizierte Bridge mit der entsprechendesn NIC als "Bridge Port" (zB eno1.5).

Was du nimmst ist Geschmackssache.

Auf der FW sollte dann das DMZ natürlich auch auf dem internen Interface getaggt mit dem entsprechendem VLAN konfiguriert sein.

 

[MarkusH87]

Das willst du in einer DMZ nicht! Sollte eine der VMs übernommen werden kann man sich leicht eine beliebige IP setzen, das Netz mit nmap scannen und generell Broadcast traffic abgreifen...

eben

Hast du die Nodes nach dem Aktivieren der VLAN Awareness neu gestartet?

ja, habe ich

Grundsätzlich sollte dein Switch VLANs können (sehr wahrscheinlich).

Ja, mein Switch kann VLANs - nur hatte ich dort eben ein bisschen Probleme, was die Konfiguration angeht. Ich habe zwar einen Punkt gefunden, wo ich aktivieren kann, dass auf allen Ports getaggte VLANs verwendet werden.
Aber dann hatte keines der ungetäggten Geräte mehr eine Netzwerkverbindung - was eben die Sache ist, dass zum Beispiel der angeschlossene TV ohne VLAN-config auskommen sollte.
Auf dem Switch kann ich einzelne Ports und/oder LAGs jeweils zu "tagged" oder "untagged" setzen - aber in meinem Fall müsste ich wohl beides setzen können.
Zudem kann ich auch auf dem Switch ein VLAN inkl. ID definieren - vielleicht reicht das auch aus und ich muss an den Ports gar nichts einstellen sondern nur dem Switch das VLAN "bekanntgeben".
Ich habe das gerade nochmals ausprobiert - Leider ohne Erfolg...
Die virtuellen NICs erhalten keine Adresse vom DHCP, sobald ein VLAN Tag eingetragen ist, soweit so gut.
Aber die Kommunikation ist nur node-intern möglich

Die Sache mit der dedizierten DMZ-Bridge im PVE würde mir fast besser gefallen, es wäre halt einfach auf den ersten Blick ersichtlich, wo jetzt eine virtuelle Netzwerkkarte angehängt ist.
Hast du da einen Hinweis/Tipp, wo ich da anfangen muss?

 

[aaron]

Meistens hat man in der Situation auf den Switch interfaces untagged vlan 1 konfiguriert für die normalen Sachen und dann noch auf den paar Interfaces die es betrifft zusätzlich die weiteren VLANs getaggt konfiguriert.

Wie das bei deinem Switch genau geht kann ich dir mangels Erfahrung nicht sagen.

Bez. der eigenen bridge pro vlan: schau dir diese Sektion im Handbuch an: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_vlan_on_the_host

Im ersten Beispiel wird in der /etc/network/interfaces zusätzlich zur NIC eno1 eine vlan config gemacht "eno1.5" und dann kann in der bridge "eno1.5" als Bridge Port verwendet werden. Dafür wirst du aber wohl oder übel die Datei direkt angreifen müssen, da es glaube ich im GUI nicht möglich ist ein VLAN auf einem interface direkt zu konfigurieren.

Da die bridge dann aber nur für die VMs und nicht Proxmox selber verwendet werden soll lass die IP config auf der bridge weg da ansonsten Proxmox auch in der DMZ exponiert wäre.

 

[Ingo S]

Für mich sieht das noch ein bisschen nach einem Verständnis Problem aus.

Auf einem physikalischen Netzwerk-Link kann man eine Menge verschiedener VLANs gleichzeitig transportieren. In Proxmox würde ich (persönlicher Geschmack) das via VLAN aware bridging lösen. Am Switch machst du dem Switch bekannt welche VLAN IDs es gibt. An einem Port konfigurierst du dann ein untagged VLAN und beliebige andere tagged vlans.
Das untagged VLAN wird von allen Geräten verstanden die untagged senden bzw. mit VLAN tagging nichts anfangen können. Dein TV zum Beispiel ist so ein Gerät. Der TV ignoriert alle Pakete die ein VLAN Tag haben.

Beispiel:
VLAN ID 1 -> normales Netz
VLAN ID 2 -> DMZ

Wenn du jetzt am Switch den Port 1 wie folgt konfigurierst:
ID1 -> untagged
ID2 -> tagged

und deinen TV an Port 1 anschließt, sieht er nur das normale Netz. Schließt du ein VLAN fähiges Gerät an diesen Port an und konfigurierst es auf VLAN ID2, beachtet das Gerät nur den Traffic mit ID2.

Willst du ein nicht VLAN fähiges Gerät in die DMZ hängen, konfigurierst du den Switchport so:
ID1 -> forbidden
ID2 -> untagged

Allen Paketen die zum VLAN2 gehören und aus der Schnittstelle raus gesendet werden, wird dann das VLAN Tag entfernt. Das Gerät merkt dann gar nicht das es sich um ein VLAN handelt. Umgekehrt, alle ungetaggten Pakete die an dem Port in den Switch gesendet werden, werden diese vom Switch automatisch mit dem passenden VLAN Tag versehen und dem entsprechenden VLAN zugeordnet. Alle anderen, getaggten Pakete werden vom Switch verworfen, weil andere VLAN IDs verboten sind.

Du kannst dir VLANs wie virtuelle Kabel vorstellen. Die VLAN IDs an den Switchports müssen mit denen der Geräte übereinstimmen.
Ungetaggte Pakete werden an dem jeweiligen Switchport immer dem dort als untagged konfigurierten VLAN zugeordnet. Getaggte Pakete werden immer dem zugehörigen VLAN zugeordnet, sofern der Port für dieses VLAN als tagged markiert ist. Sonst werden die Pakete verworfen.

 

[MarkusH87]

Für mich sieht das noch ein bisschen nach einem Verständnis Problem aus.

stimmt...liegt wohl an mir

Ich habe auf dem Switch nochmals ein wenig "rumprobiert" - und die richtigen Einstellungen gefunden.
Ich weiss nicht genau, vermutlich ist mir das Webinterface des kleinen Netgear Switches zu wenig intuitiv oder wie auch immer.

Auf jeden Fall habe ich nun die folgenden Einstellungen vorgenommen und meine virtuelle DMZ funktioniert korrekt:

1. Zusätzliche VLAN-ID 39 auf dem Switch definiert
2. Sämtliche Switch Ports für das VLAN 1 (Default) als Untagged markiert
3. Die Ports 1, 2 (LAG) und 4 und 5 für das VLAN 39 als Tagged markiert (das sind diejenigen Ports, wo die physischen Hosts angeschlossen sind)
4. Den nötigen VMs eine einen Netzwerkadapter mit der Bridge vmbr0 (VLAN aware = Yes) und dem VLAN Tag 39 hinzugefügt

So funktioniert die Kommunikation bei mir node-übergreifend.

Ich werde später mal noch die Sache mit einer zusätzlichen Bridge ausprobieren - ich finde den Gedanken immer noch schöner, dass ich aufgrund der gewählten Bridge ins eine oder andere Netz zuordnen kann - aber das ist eher Kosmetik.

Danke an alle für die Tipps - manchmal braucht es auch nur ein anderes Wort und alles wird klarer

Danke und Gruss

Markus