frisch aufgesetzter PVE Server hat keine Verbindung zum Internet

[MarroniJohny]

Hi

Bin neu hier und bei Proxmox dabei.

Bin gerade am migrieren von langjährigen ESXi zu PVE. Habe PVE zuerst auf dem ESXi Server getestet, da hat soweit alles geklappt, und ich kam auf Anhieb mit dem virtualisierten Host ins Internet, etwa um Updates zu ziehen. Nun habe ich mal den Schritt aufs Blech gewagt mit PVE. Es handelt sich im eine Selbstbau Firewall mit einem Supermicro X10SLH-LN6TF / N6-ST031 Mainboard (mit 3x Intel X540 NIC hinter einem PLX Chip).

Der Host ist aufgesetzt (mehrere Male). Der kommt aber nicht ins Internet. Dachte erst, es liegt an den 10 GbE Karten, weil Proxmox da ja eine OVS Bridge will. Die kann ich aber nicht einrichten, weil der Host ja kein Internet hat, und ich somit das Paket openvswitch-switch nicht installieren kann. Dachte ich mir, gut, baust Du halt eine 1 GbE Karte ein zum testen. Hier selbes Bild, Host ist erreichbar, aber der kann nicht mal den Gateway pingen. Wenn ich auf den Host Gäste installiere, beziehen die brav ihre Adresse an der betreffenden Linux-Bridge.

Firewall habe ich zum testen auch aus gemacht, sowohl im Datacenter als auch am Host selbst. Ein DNS Problem wird es auch nicht sein, da ich nicht mal den Gateway pingen kann. Habe da schon alles mögliche getestet. Auch andere IP vergeben, obwohl ich da recht sicher bin, dass da nichts doppelt vergeben wurde. Grossteil der Adressen werden eh per DHCP vergeben.


















Hier im Gast, an der selben Linux Bridge:




Gruss und danke

 

[Falk R.]

Irgend etwas stimmt da nicht. OVS Bridge wird nirgendwo erzwungen. Eventuell gibts da Treiberprobleme mit der 10G NIC.
Da die Einstellungen vom Host ja soweit genau so wie bei der VM aussehen würde ich zuerst auf eine doppelte IP tippen. Anders kann ich mir das nicht erklären.

 

[MarroniJohny]

Danke!

Ja, doppelte IP dachte ich auch. Habe jetzt aber zur Sicherheit die alte Adresse vom ESXi vergeben, der auf dieser Hardware lief. Habe den Host jetzt mal direkt an den Modem/Router geklemmt, und siehe da, der kann jetzt überall hin telefonieren. Also Updates gezogen, openvswitch-switch installiert und wieder zurück gebaut. Wieder selbes Bild, der Host kommt nicht raus. Weder an der Linux-Bridge noch an der neu hinzugefügten OVS-Bridge. Musste das allerdings händisch in der /etc/network/interfaces machen. Wenn ich das über die GUI versucht habe, kommt immer, Gateway schon vergeben. Obwohl ich das geändert habe.

 

[Falk R.]

Wenn du gern OVS nutzen möchtest, kannst du das, musst du aber nicht. Funktioniert es denn ohne OVS?
Wenn es nur am Router funktioniert, was steckt denn sonst noch dazwischen?

 

[MarroniJohny]

Da steckt eine Zywall und ein Switch mit ein paar VLANs dazwischen. Aber fahre ungetagged auf den Proxmox.

Habe mittlerweile den Proxmox neu aufgesetzt. Man sieht ja oben, dass da irgendwie die bridge Ports vertauscht sind, warum auch immer. enp9s0 soll danach an der 10 Gbit Bridge hängen, ist aber die 1 Gbit Karte. Wie auch immer, aktueller Stand ist so:





Das ist schon einmal besser. Ich erreiche auch beide Bridges. Aber wie kriege ich nun einen zweiten Gateway hinzu, sprich 192.168.101.1? Der Host soll darüber nach aussen telefonieren (über enp9so, 1 Gbit). vmbr0 soll als Uplink für den Firewall Gast dienen. Wenn ich den Gateway per GUI hinzu füge, kommt da immer, Gateway schon vorhanden, obwohl das ein anderer ist. Kann Proxmox nicht mit mehreren Gateways umgehen, wenn die auf verschiedenen Bridges laufen? Und wäre auch schön, wenn man das alles per DHCP vergeben lassen könnte. Bislang war bei mir immer komplett alles per DHCP vergeben...

 

[MarroniJohny]

Omg. Dass das Teil hinter der Zywall nicht heraus telefonieren kann, damit habe ich mich abgefunden. Es macht mittlerweile was es soll, und fungiert als Firewall. Warum das nur halb so schnell läuft wie auf dem ESXi, und warum VT-d partout nicht laufen will, dazu mache ich dann wohl einen- zwei neue Threads auf. Danke mal soweit. Ich gehe an der Matratze horchen.

 

[Dunuin]

Bei Linux kannst du standardmäßig nur ein default Gateway haben.
Willst du zwei musst du entsprechende manuelle Routen für die Subnetze definieren oder für ein zweites Gateway dir eine zusätzliche Routing Table erstellen mit entsprechenden Regeln die definieren, in welchem Fall da welches Gateway benutzt werden soll.
Da kannst du ganz normalen Debian 12 Tutorials mit ifupdown2 für folgen.

 

[pakuzaz]

Wie sieht es mir dem DNS aus? oder hab ich das Überlesen?

 

[MarroniJohny]

Als DNS habe ich alles mögliche probiert. Default Gateway, 8.8.8.8, etc. Ich kann ja nicht mal 8.8.8.8 oder den default Gateway anpingen. Da sollte ja DNS nicht mit involviert sein.

 

[pakuzaz]

Ist das dein Netzwerk der Gateway muss auch nicht zwingend antworten auf Pings, da dieses auch per Firewall geblockt werden kann sowie auch DNS Anfragen aber ich glaube hier sind Grundkenntnisse der Netzwerkfähigkeit bei dir noch nicht so ausgereift daher erklär mal kurz und knapp wie dein Netzwerk aufgebaut ist.

Kein langer Text sonder ip von der Firewall Router proxmox und deinem Client pc

 

[Falk R.]

Nicht nur bei Linux, es darf immer nur ein Gateway geben, außer du hast 2 Internetanschlüsse und möchtest beide nutzen. Dann könnte es mit 2 Gateways funktionieren.
Was läuft denn langsamer als auf ESXi? In der Regel kann es nur ein Konfigurationsproblem sein, da VMs in der Regel auf KVM alle schneller oder gleich schnell laufen wie auf dem ESXi.
Das Setup mit der Firewall und den verschiedenen Netzen, könntest du mal zeichnen oder erklären, dann können wir dir auch sagen wie man soetwas korrekt umsetzt.

 

[ubu]

Wenn du keine zwingenden Gründe für OVS hast würde ich bei linux bridge bleiben

ansonsten poste deine /etc/network/interfaces, sowie die Ausgabe von:
brctl show
ip a l
ip r l
ip r get 8.8.8.8

Kannst du dein GW anpingen?

 

[MarroniJohny]

Hi

Also im Moment sieht das Netzwerk so aus:



Die Zywall 110 soll ausgemistet werden. Den Server werde ich dann direkt an der Sophos mit einer getaggten Strippe anbinden (LAN, Labor Netz, Management Netz, DMZ). Auch die Workstation kommt direkt an die Proxmox Sophos. So zumindest der Plan. 10 Gbit Switch wird es nicht geben. Alles was 10 Gbit mässig im Netz ist, kommt direkt an die Sophos. Dann noch einen 1 GbE Switch für den ganzen Urwald an weiteren Geräten.

Im Moment greife ich auf den Proxmox über VLAN 101 zu. Der kann halt so nicht ins Internet. Meinen Gateway 192.168.101.1 kann ich eben nicht anpingen. Der ist aber von meiner WS im selben Netz pingbar. Habe jetzt eh alles umgebaut, und lebe mal damit, dass Proxmox nicht telefonieren kann. Sonst läuft ja alles.

Ich muss den Aufbau mal so lassen, bis ich meinen neuen Provider bekomme. Dann fahre ich ein, zwei Monate alles parallel.

Es gibt im Moment folgende Netze:

Gateway 192.168.50.1/24 Router/Modem
Gateway 192.168.200.1/24 DMZ Zywall
VLAN 101 192.168.101.1/24 LAN
VLAN 102 192.168.102.1/24 Management
VLAN 104 192.168.104.1/24 Labor Netz/Gäste
Gateway 192.168.29.1/24 LAN Sophos (neu)

OVS brauche ich, weil die meisten Adapter 10 GbE sind. So was ich verstanden habe, sind die Linux Bridges nur für 1 Gbit. Da die ganzen Ausgaben und die Interfaces Datei bringen im Moment nichts. Da bin ich gerade noch daran am basteln. Werde ich dann posten, wenn ich soweit bin.

 

[ubu]

Danke für den Plan, nur damit ichs richtig verstehe:

Die Workstation hat eine 1gbe Verbindung zum switch und eine Direktverbindung zum Proxmox (da wo 10Gbe29 dransteht)?

Proxmox hat die 10 Gbe Verbindungs zur WS (welche IPs sind hier, welches Interface auf dem Proxmox?)

1Gbe zum Switch (Wer ist der Router / hat die 192.168.101.1?) Hierüber soll erstmal der Internetzugriff laufen?
10 Gbe 192.168.50.51 zum FiberRouter

Welche Bridges gibt es auf dem Proxmox? welche IPs sind auf diesen konfiguriert?

 

[MarroniJohny]

VLAN 101, 102, 104 und 200 macht die Zywall. Alles was da dran hängt ist im Moment noch 1 GbE. 29 macht die Sophos auf dem Proxmox. Die einzigen beiden 10 Gbit Strippen sind zum und vom Proxmox (192.168.50.51, 192.168.29.1/24).

Sprich an der Zywall habe ich doppelt NAT, hinter der Sophos auch. Wenn dann der Proxmox die Firewall spielt, fällt der Fiber Router weg, und ich fahre direkt mit Glas WAN auf die Sophos. Oder halt eventuell ein Media Converter. Wahrscheinlich baue ich für das WAN dann noch eine SFP+ Karte ein. Im Moment ist alles auf Kupfer bis auf das WAN, das soll auch so bleiben.

Im Moment sieht es so aus auf Proxmox:



Über vmbr1 greife ich auf den Host zu (192.168.101.141). vmbr3 ist WAN von der Sophos (192.168.50.51), vmbr5 ist das LAN von der Sophos (192.168.29.1/24). Das lüppt auch alles soweit. Wenn ich am Proxmox Host Internet brauche, muss ich halt an vmbr0 stöpseln. Habe leider am Router nicht genügend Ports, um da ein zweites Kabel zu spannen. Schön wäre halt gewesen, wenn der Host an vmbr1 telefonieren könnte. Da war ich gestern den ganzen Tag dran, jene Male neu aufgesetzt und alles. An 192.168.1.141 will der partout nicht ans Internet, auch wenn dort der Gateway gesetzt ist. Das ist übrigens auch der einzige 1 GbE Adapter. Den habe ich extra noch eingebaut, um da eventuellen Inkompatibilitäten vorzubeugen. Habe es auch an den X540 getestet, mit Linux Bridges und allem.

 

[Dunuin]

OVS brauche ich, weil die meisten Adapter 10 GbE sind. So was ich verstanden habe, sind die Linux Bridges nur für 1 Gbit.

Nein, die Linux Bridges sind nur durch die Leistung deiner CPU beschränkt. Da kannst du auch 20Gbit drüberjagen, wenn es die Single-Threaded-Performance der CPU mitmacht. Ohne Jumboframes wird es mit alter Hardware aber schwer mehr als 3-4 Gbit über die 10Gbit-NICs zu bekommen. War jedenfalls hier so.

 

[MarroniJohny]

Spoiler: ip a l

root@proxmoxfirewall:~# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host noprefixroute
valid_lft forever preferred_lft forever
2: enp9s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr1 state UP group default qlen 1000
link/ether 00:e0:4c:68:3e:b9 brd ff:ff:ff:ff:ff:ff
3: eno1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master ovs-system state DOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9a brd ff:ff:ff:ff:ff:ff
altname enp4s0f0
4: eno2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master ovs-system state DOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9b brd ff:ff:ff:ff:ff:ff
altname enp4s0f1
5: eno3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master ovs-system state UP group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9c brd ff:ff:ff:ff:ff:ff
altname enp5s0f0
inet6 fe80::ec4:7aff:feba:fc9c/64 scope link
valid_lft forever preferred_lft forever
6: eno4: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master ovs-system state DOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9d brd ff:ff:ff:ff:ff:ff
altname enp5s0f1
7: eno5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master ovs-system state UP group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9e brd ff:ff:ff:ff:ff:ff
altname enp6s0f0
inet6 fe80::ec4:7aff:feba:fc9e/64 scope link
valid_lft forever preferred_lft forever
8: eno6: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master ovs-system state DOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9f brd ff:ff:ff:ff:ff:ff
altname enp6s0f1
9: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 0e:d3:e8:d5:64:3a brd ff:ff:ff:ff:ff:ff
10: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9a brd ff:ff:ff:ff:ff:ff
inet 192.168.50.141/24 scope global vmbr0
valid_lft forever preferred_lft forever
inet6 fe80::60ad:e6ff:fe21:ce40/64 scope link
valid_lft forever preferred_lft forever
11: vmbr2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9b brd ff:ff:ff:ff:ff:ff
inet6 fe80::20d8:ceff:fe78:243/64 scope link
valid_lft forever preferred_lft forever
12: vmbr3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9c brd ff:ff:ff:ff:ff:ff
inet6 2a04:ee41:2:2b0:ec4:7aff:feba:fc9c/64 scope global dynamic mngtmpaddr
valid_lft 7124sec preferred_lft 3524sec
inet6 fe80::bcb7:66ff:fee7:a145/64 scope link
valid_lft forever preferred_lft forever
13: vmbr5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9e brd ff:ff:ff:ff:ff:ff
inet6 fe80::84e1:21ff:fe47:a24f/64 scope link
valid_lft forever preferred_lft forever
14: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 00:e0:4c:68:3e:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.101.141/24 scope global vmbr1
valid_lft forever preferred_lft forever
inet6 fe80::2e0:4cff:fe68:3eb9/64 scope link
valid_lft forever preferred_lft forever
15: vmbr4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9d brd ff:ff:ff:ff:ff:ff
inet6 fe80::18e7:f1ff:fe26:44e/64 scope link
valid_lft forever preferred_lft forever
16: vmbr6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
link/ether 0c:c4:7a:ba:fc:9f brd ff:ff:ff:ff:ff:ff
inet6 fe80::1cc1:cdff:fee9:cf41/64 scope link
valid_lft forever preferred_lft forever
68: tap101i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr101i0 state UNKNOWN group default qlen 1000
link/ether f6:f2:7d:a8:de:3c brd ff:ff:ff:ff:ff:ff
69: fwbr101i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether f6:f2:7d:a8:de:3c brd ff:ff:ff:ff:ff:ff
70: fwln101o0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr101i0 state UNKNOWN group default qlen 1000
link/ether 46:ea:bc:1a:31:2c brd ff:ff:ff:ff:ff:ff
71: tap101i1: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr101i1 state UNKNOWN group default qlen 1000
link/ether e2:e9:c0:d4:dd:c2 brd ff:ff:ff:ff:ff:ff
72: fwbr101i1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether e2:e9:c0:d4:dd:c2 brd ff:ff:ff:ff:ff:ff
73: fwln101o1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr101i1 state UNKNOWN group default qlen 1000
link/ether f2:72:ed:b3:14:37 brd ff:ff:ff:ff:ff:ff
root@proxmoxfirewall:~#

Spoiler: Interfaces

m# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
ovs_type OVSPort
ovs_bridge vmbr0

iface enp9s0 inet manual

auto eno2
iface eno2 inet manual
ovs_type OVSPort
ovs_bridge vmbr2

auto eno3
iface eno3 inet manual
ovs_type OVSPort
ovs_bridge vmbr3

auto eno5
iface eno5 inet manual
ovs_type OVSPort
ovs_bridge vmbr5

auto eno4
iface eno4 inet manual
ovs_type OVSPort
ovs_bridge vmbr4

auto eno6
iface eno6 inet manual
ovs_type OVSPort
ovs_bridge vmbr6

auto vmbr1
iface vmbr1 inet static
address 192.168.101.141/24
bridge-ports enp9s0
bridge-stp off
bridge-fd 0

auto vmbr0
iface vmbr0 inet static
address 192.168.50.141/24
gateway 192.168.50.1
ovs_type OVSBridge
ovs_ports eno1

auto vmbr2
iface vmbr2 inet manual
ovs_type OVSBridge
ovs_ports eno2

auto vmbr3
iface vmbr3 inet manual
ovs_type OVSBridge
ovs_ports eno3

auto vmbr5
iface vmbr5 inet manual
ovs_type OVSBridge
ovs_ports eno5

auto vmbr4
iface vmbr4 inet manual
ovs_type OVSBridge
ovs_ports eno4

auto vmbr6
iface vmbr6 inet manual
ovs_type OVSBridge
ovs_ports eno6

source /etc/network/interfaces.d/*

Dass da im Moment nichts durch geht, ist mir klar. Weil da mit den Schnittstellen bin ich noch am basteln. Wenn ich an vmbr0 stöpsle, dann hat der Host Internet.

 

[MarroniJohny]

Nein, die Linux Bridges sind nur durch die Leistung deiner CPU beschränkt. Da kannst du auch 20Gbit drüberjagen, wenn es die Single-Threaded-Performance der CPU mitmacht. Ohne Jumboframes wird es mit alter Hardware aber schwer mehr als 3-4 Gbit über die 10Gbit-NICs zu bekommen. War jedenfalls hier so.

Naja, auf dem ESXi hatte ich es mit verschiedenen FW getestet:






Aktuell habe ich nur die Sophos auf dem Proxmox:



Auf dem ESXi ist IDS und der ganze Kram aktiviert, auf dem Proxmox deaktiviert. Habe da verschiedene Settings durchgetestet. Im Moment habe ich virtio als Adapter gewählt, bei der Machine q35 und bei CPU Host. Damit habe ich bislang die besten Ergebnisse erzielt.

War glaube ich alles mit einer MTU von 1500.

CPU ist eine Xeon E3-1281 v3 mit 32 GB 1333 ECC UDIMM. Die langweilt sich aber teilweise, so lange ich nur einen Speedtest mache.

Baremetal komme ich mit einer echt lahmen i3-4130T sogar noch auf fantastische Werte:



Hätte ich selber nicht für möglich gehalten.

 

[MarroniJohny]

aber ich glaube hier sind Grundkenntnisse der Netzwerkfähigkeit bei dir noch nicht so ausgereift

Mag sein, ja. Würde ja erwarten, dass ich Proxmox irgendwie zum reden bringen könnte. Warum er dies im VLAN 101 nicht tut, bleibt ein Geheimnis. Würde ja auf die Zywall tippen, obwohl das entsprechende VLAN mit jedem sprechen darf, so lange es nur raus geht. Bin da echt maximal verwirrt. Zumindest am Modem läuft es, wie es zu erwarten wäre.

Bin recht zufrieden mittlerweile. Wenn Proxmox noch über die Zywall raus gehen würde, das wäre dann schon fast perfekt. Für den Moment. Wenn ich dann den ESXi auch auf Proxmox umstelle, ohje davor graust es mir jetzt schon. Hatte letzthin auch versucht, wenigstens meinen Lab Rechner mal auf Linux umzustellen. Ohje, das war hart. Der läuft mittlerweile wieder brav mit Windows. Das darf beim Umzug vom ESXi auf Proxmox nicht passieren. Habe auch echt Mangel an Datenträgern und selten das passende Backup zur Hand. Bin da minderbemittelt in der Hinsicht und mache immer gleich format c:.

 

[Falk R.]

Ich komme mit deinem verbauten Netzwerk gedanklich nicht klar.
Du willst, dass der PVE Router spielt?
Also ich nutze immer nur normale Bridges und die Bridge ist noch nie ein Bottleneck gewesen. Zumindest nicht bis 100GBit.
Was Routing angeht, mache ich das am liebsten mit virtuellen OPNsense und da habe ich bisher maximal 60GBit geschafft, aber auf einer 3,5 GHz Epyc CPU.
Theoretisch kann man so ein Netzwerk wie auf dem Plan bauen, aber dann nur mit statischem Routing und sauber ist so ein Setup auf keinen Fall.