PVE Node nicht erreichbar

[Sidhana]

Moin zusammen,

mein Kollege hat versucht einen VLAN zu erstellen und hat den gleichen VLAN-Tag zugewiesen wie bei dem Bridge und seit dem können wir den PVE nicht über GUI erreichen oder anpingen.
Die Vnets.cfg oder Zonen.cfg dateien sind geschützt und können nicht verändert werden.
Was kann ich tun?

 

[mgabriel]

Sind das mehrere Server in einem Cluster? Nutzt ihr das experimentelle SDN?

Ihr könntet aus der /etc/network/interfaces Datei die VLANs temporär wieder entfernen und mit einem systemctl restart networking.service das Netzwerk neu starten.

Sollte das nicht funktionieren, poste bitte mal die interfaces Datei.

 

[Sidhana]

Ja genau wir haben 4x Node Cluster... Die VLANS sind doch unter der SDN - VNETs zugewiesen.
Die Verbindung hatten wir mit dem Bond0 die ich auf end259f0 zum Testen umgeändert haben

 

[mgabriel]

Um VLANs zu nutzen brauchst du das SDN erst mal nicht.

Mögliche Problemlösung wäre, auf jedem Server nacheinander:

pvecm status sagt dir vermutlich, dass dein Cluster Inquorate ist und "Activity Blocked". Dann:

Auf jedem Server nacheinander folgende Schritte ausführen:

1. Quorum Votes runtersetzen

pvecm expected 1

2. Danach kannst du /etc/pve wieder beschreiben. Verschiebe die neu angelegten Dateien vom SDN (vnets.cfg, zones.cfg) aus /etc/pve an einen anderen Ort als Sicherheit.

3. Wiederhole die Schritte auf dem nächsten Server.

Noch als Hinweis: 4 Server sind nicht optimal - eventuell solltet ihr über ein QDevice nachdenken (https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_external_vote_support)

 

[Fab1984]

Hallo,

ich bin der Kollege der es verbockt hat ;-) Erstmal vielen Dank für die Tips.

Wir benötigen das SDN um den Traffic für mehrere Kundennetzwerke zu separieren. Also wir möchten auf dem Node mehrere dediziert von einander unabhängige Netzwerke zuweisen. Die Frage ist, wie wir das ohne SDN hinbekommen sollen. Wir haben ja nur die zwei 100GBE Netzwerkkarten die per MLAG und LACP einen bond bilden. Wie schaffen wir es denn, dass die VMs aus den unterschiedlichen Netzwerken mit der externen Firewall kommunizieren und nur deren Traffic erhalten?

Vielen Dank soweit, die bisherigen Ratschläge waren sehr hilfreich.

 

[mgabriel]

Hi ,

Wir benötigen das SDN um den Traffic für mehrere Kundennetzwerke zu separieren. Also wir möchten auf dem Node mehrere dediziert von einander unabhängige Netzwerke zuweisen. Die Frage ist, wie wir das ohne SDN hinbekommen sollen. Wir haben ja nur die zwei 100GBE Netzwerkkarten die per MLAG und LACP einen bond bilden. Wie schaffen wir es denn, dass die VMs aus den unterschiedlichen Netzwerken mit der externen Firewall kommunizieren und nur deren Traffic erhalten?

die einfachste Variante ist, die VLANs an den Interfaces der virtuellen Maschinen zu konfigurieren und auf der Firewall die VLANs auf entsprechende (virtuelle) Interfaces zu legen. Dann hast du in der Firewall die Kontrolle welche Übergänge erlaubt sind. Deine Switche müssen dann nur noch die entsprechenden VLANs durchlassen.

Ob und wie das möglich ist, hängt dann (auch) von der verwendeten Firewall ab. Mit OPNsense Firewalls ist diese Methode relativ leicht umzusetzen, bei anderen Herstellern dürfte so etwas aber auch gehen.

Wir haben solche Setups auch auf unterschiedliche Arten schon umgesetzt, aber da sind pauschale Empfehlungen eher Schwierig.

Viele Grüße,
Marco

 

[Fab1984]

Den Gedanken hatte ich auch, aber wie bekomme ich den Gateway zur externen Firewall in mehreren vlans auf einem Host umgesetzt? Oder sollte die pfsense dann auf dem Host aufgesetzt werden und dann zur externen firewall routen? Das gestaltet sich wiederum schwierig, weil ich die vlans nicht direkt als virtuelle nic verwenden kann?

Vielleicht habe ich da auch nur ein Verständnis Problem ;-)

 

[mgabriel]

Die externe Firewall braucht in jedem VLAN natürlich auch ein Interface, das dann als Standard Gateway für das Kunden VLAN ist.

Eventuell verstehe ich dein Anliegen aber auch nicht .

 

[Fab1984]

Wir verstehen uns schon, mein Problem ist ja das man pro Host nur einen Gateway haben kann. Auch wenn ich 20 vlans auf jedem host im Cluster einrichte, kann ich nur einem davon einen Gateway zuweisen.

Das ist das einzige Problem an dem Konstrukt.

 

[mgabriel]

Ah. Die Netzwerkkonfiguration des Hosts kann völlig unterschiedlich zu denen der vlans und der VMs sein.

D.h. deine Hosts können in anderen VLANs und IP-Netzwerken sein als deine VMs. Du musst auf dem Switch dafür sorgen, dass die VLANs passieren dürfen und du musst dafür sorgen, dass die Firewall ebenfalls im entsprechenden VLAN hängt.

Du kannst also pro VLAN völlig andere Netzwerkeinstellungen haben. Das Standardgateway kann für die Hosts zum Beispiel eine interne 10.0.0.254 ohne VLAN sein und für deine VMs eine 192.168.0.254 im VLAN100.

 

[Fab1984]

Ja, das hätte ich tatsächlich auch so gedacht, aber genau die Konfiguration lässt pve nicht zu. Sobald ich versuche den vlans einen eigenen Gateway zu geben, verweigert er die Eingabe und verweist darauf, dass bereits ein Gateway auf dem Host vergeben ist.

 

[Fab1984]

Nur zum Verständnis… wir sprechen über vlans unter Netzwerk und nicht unter sdn, richtig?

 

[mgabriel]

Wir haben tatsächlich von unterschiedlichen VLANs gesprochen. Du meinst die VLANs unter <Node> -> System -> Network -> Add VLAN. Ich rede davon, einer VM an den Network Interfaces ein VLAN zu konfigurieren.

Unter <Node> -> System -> Networking kannst du ein VLAN konfigurieren, das deine Proxmox Node verwendet, z.B. wenn deine externe Storage in einem VLAN hängt und die Proxmox Node darauf zugreifen muss um Images zu starten.

Was ich meine ist, dass du an der Netzwerkkarte einer VM direkt das VLAN für diese VM (bzw. genau für dieses Interface) konfigurieren kannst. Hier im Beispiel das VLAN 235:


Die eigentlichen Einstellungen fürs Netzwerk selbst legst du innerhalb deiner VM fest.

 

[Fab1984]

Hallo, es ist zwar schon etwas her, aber ich habe nun eine Testumgebung inkl. MLAG usw. aufgebaut und versuche das zu testen. Leider funktioniert das bei mir nicht. Ich habe zwei Firewalls und zwei Switches redundant aufgebaut. Auf Management-/Cluser-Ebene im VLAN1 funktioniert die Kommunikation tadellos (Switches = Untagged VLAN 1). Auch die VMs können problemlos mit der Firewall kommunizieren wenn ich kein VLAN definiere. Über VLANs erreiche die VMs leider nicht und die VMs auch nicht die Firewall.

Beispielsweise habe ich auf der Firewall das Tagged VLAN60 als virtuelles Interface eingerichtet. Auf den Switches habe ich die Tagged VLAN60 auf den Firewallports und den Ports an denen die Nodes angeschlossen sind eingerichtet. Wenn ich die Pakete verfolge nimmt der Switch die an, aber gibt diese nicht weiter an den PVE Node. Vom PVE Node erreicht ich mit dem VLAN nichtmal den Switch.

Wie besprochen habe ich das VLAN nur in den VM Einstellungen eingerichtet und an der Linux Bridge lediglich VLAN Aware (60-300) aktiviert. An dem die beiden NICs sind in einem LACP Bond und der Bond ist Slave von vmbr0. Für das VLAN habe ich weder am Bond, Switchport oder in der PVE Management Console weitere Einstellungen vorgenommen.