frisch aufgesetzter PVE Server hat keine Verbindung zum Internet

[MarroniJohny]

Ja genau, die Sophos auf dem Proxmox soll den ganzen Zywall Baum ablösen dann. Auch WAN läuft dann nicht mehr über doppelt NAT. Das tut es im Moment nur, weil mein Provider Router keinen Bridged Mode machen will. Die Sophos ist vorerst nur im Labor. Da die doppelte Firewall, also der aktuelle Stand, das ist nur zum testen. Ein Diagramm wo es hin geht gibt es noch nicht mal in meinem Kopf. Das bin ich atm am evaluieren. Fest steht zumindest, dass alle VLANS dann getagged zum ehemaligen ESXi, bzw. zum neuen Proxmox Server mit einer Strippe realisiert werden soll. Aber der bleibt vorest mal auf vSphere, erst mal muss ich das mit dem Netzwerk hin kriegen.

 

[Falk R.]

Das mit den OVS würde ich wieder zurück bauen. Ich bin lieber für simple Setups, die durchschaut man schneller.

Deine Zeichnung verwirrt mich immer noch, daher mal wie ich es aufbauen würde.
- Scheinbar ist bei dir VLAN 101 das Management, dann würde ich dem PVE nur eine IP in dem VLAN geben. Dort natürlich auch das Gateway.
- Das Interface vom Modem würde ich direkt an die virtuelle Firewall als WAn Interface geben.
- Die anderen VLANs kannst du ja getagged auf dem Uplink vom Switch mitlaufen lassen.
- Wenn dein Client ein eigenes Interface mit 10GbE haben soll, dann würde ich das auch auf einer eigenen Bridge und auf der virtuellen Firewall enden lassen.
- Wenn die Zywall VRRP kann, würde ich die virtuelle Sophos parallel zur ZyWall einrichten und die Gateway IPs dann nachher einfach umschwenken.
- Alternativ die Sophos mit einer anderen IP auf den Interfaces konfigurieren und später nur die IP anpassen.

Das was du jetzt gezeichnet hast, ist wild im Kreis und unnötig Mega Komplex.

 

[MarroniJohny]

- Scheinbar ist bei dir VLAN 101 das Management, dann würde ich dem PVE nur eine IP in dem VLAN geben. Dort natürlich auch das Gateway.

Nein 101 ist das normale LAN. 102 ist das management Interface, das habe ich auf der Skizze ausgelassen, weil das mein Problem nicht tangiert. VLAN 102 darf natürlich nicht nach aussen telefonieren und beinhaltet FW Admin, vmkernel, Switch, IPMI, NFS für den ESXi und so. Wenn ich da alles skizziert hätte, würde nicht nur mir schwindelig. Der Teil macht halt absolut nichts aus bei meinem Problem, dass der Proxmox nicht nach aussen telefonieren kann, weil der hängt im Moment im stinknormalen LAN (101).

- Das Interface vom Modem würde ich direkt an die virtuelle Firewall als WAn Interface geben.

Welches Interface? Das ist ein Router, und der kann wegen Providervorgaben nicht in den bridge Mode versetzt werden. Im Moment hängen da die beiden Firewalls dran. Die Zywall als exposed Host mit dem ganzen NAT, am einzigen 10 Gbit Port die neue Sophos. Das ist nicht mein Plan für die Zukunft, sondern der IST Zustand. Weil ich kann da die Zywall nicht einfach abklemmen, darum läuft das parallel. Das hat sich halt so entwickelt, und ist Laborbetrieb.

- Wenn dein Client ein eigenes Interface mit 10GbE haben soll, dann würde ich das auch auf einer eigenen Bridge und auf der virtuellen Firewall enden lassen.

So der Plan, ja. Ist btw. auch nicht der einzige Client/Server, der so mit 10 Gbit angehängt werden will. Ich betone hier nochmals, dass es keinen 10 Gbit Switch geben wird. Und da die angehängten Clients sollen in verschiedene VLAN. Drum stöpsel ich die nämlich zukünftig direkt an der Firewall (Sophos).

- Wenn die Zywall VRRP kann, würde ich die virtuelle Sophos parallel zur ZyWall einrichten und die Gateway IPs dann nachher einfach umschwenken.
- Alternativ die Sophos mit einer anderen IP auf den Interfaces konfigurieren und später nur die IP anpassen.

Keine Ahnung was VRRP sein soll. Ich experimentiere im Moment auf der Sophos. Wenn ich da mal durchsehe, wird der ESXi Server platt gemacht, die Quad Port Karte entfernt und eine 10 GbE Karte eingebaut, auf die ich getagged mit 101,102, 104 und 200 fahre. Dann natürlich von der Sophos. Danach kann ich die Zywall ausser Betrieb nehmen.

Das was du jetzt gezeichnet hast, ist wild im Kreis und unnötig Mega Komplex.

Das ist der IST Zustand. Was gibt es an dem linken Teil denn auszusetzen? Das war bisher. Dünkt mich, sei ein normales Chefnetzwerk, bzw. Homelab. Der rechte Teil der Zeichnung wurde hinzugefügt, um mal die neue Firewall zu testen. Na klar, Du hättest vielleicht direkt alles platt gemacht, und alles gleich über die Sophos laufen lassen. Aber so weit bin ich halt noch nicht. Ich muss das erst evaluieren, bevor ich den Turnverein abklemme...

 

[Falk R.]

Ich meine auch nur den rechten Teil. Das bisherige Setup war ja OK, deshalb würde ich ein ähnliches Setup rechts daneben stellen.
Du verkomplizierst das Setup im Moment ganz schön.

 

[MarroniJohny]

Was stört Dich denn am rechten Teil? Dass ich da 2x in meine WS fahre? Hatte ich vor dem neuen Proxmox schon so, da bin ich halt direkt gefahren, so dass ich 10 Gbit am Desktop habe. Die 101er Verbindung dient dazu, dass ich auch hinter die Zywall komme. Ja klar, liesse sich auch mit mit einem VPN lösen, aber ich habe da halt zwei Strippen. Sehe das pragmatisch. Wie würdest Du denn das lösen ohne zusätzliche Hardware?

Wenn wir schon beim Management LAN (102) sind, da hapert es dann definitiv. Weil die ganzen IPMI und alles sind dann nicht mehr verfügbar, wenn die zukünftige Sophos in die Knie geht. Dachte da an einen kleinen Switch, wo das ganze 102 parallel anliegt. Mit einer direkten Strippe zur Workstation. Weil wüsste nicht wie ich sonst an das IPMI der FW kommen sollte. NFS vom Server hat es sicher auch nicht so gern, wenn da plötzlich die Verbindung weg sein sollte, wenn die FW down geht. Aber das sind dann mehr die Details in meinem (zukünftigen) Chaos Netzwerk.

 

[Falk R.]

Du hast da viele Doppelte Verbindungen und wenn du im Proxmox mehrere IPs haben möchtest (wofür weiß ich nicht) dann wird das Routing unnötig Komplex und wenn du irgendwann die alte Firewall abbaust wird es wieder umständlich alles zurückzubauen.

 

[MarroniJohny]

Ziel wäre natürlich dann alle vmkernel auf managed Netzwerk 102. Mit NFS, IPMI und so. Aber NFS sollte dann parallel auch auf 10 Gbit verfügbar sein. Wie ich das hin kriegen soll? k.A, ehrlich gesagt. Wird auf jeden Fall nicht langweilig. Am ESXi musste ich auch zwei vmkernel machen, einer für NFS, den ich nicht nackt ins LAN stellen wollte, und einer für den Hostclient. Bastelbude eben.

Bist Du hier Mod? Anscheinend kannst Du Post #22 lesen, der wurde aber noch nicht frei gegeben. Kannst Du den online schalten?

 

[Falk R.]

Ziel wäre natürlich dann alle vmkernel auf managed Netzwerk 102. Mit NFS, IPMI und so. Aber NFS sollte dann parallel auch auf 10 Gbit verfügbar sein. Wie ich das hin kriegen soll? k.A, ehrlich gesagt. Wird auf jeden Fall nicht langweilig. Am ESXi musste ich auch zwei vmkernel machen, einer für NFS, den ich nicht nackt ins LAN stellen wollte, und einer für den Hostclient. Bastelbude eben.

Bist Du hier Mod? Anscheinend kannst Du Post #22 lesen, der wurde aber noch nicht frei gegeben. Kannst Du den online schalten?

Ich habe eine Benachrichtigung per Mail bekommen und die konnte ich lesen. Keine Ahnung warum da was geblockt wurde.

 

[Falk R.]

Ich gebe dir mal zwei kleine Tips zum besser verstehen:
PVE bridge = ESXi vSwitch
PVE OVS = vSphere distributed Switch

ESXi vmkernel = brauchst du nicht, da du der Bridge oder auch einer NIC direkt eine IP geben kannst
ESXi vm Portgruppe = kann man als Sub Bridge z.B. vmbr0.5 für VLAN5 machen, ich bevorzuge die HyperV Methode. Stelle die Bridge auf vlan aware und gib der VM NIC einfach den VLAN Tag mit. Dann ist das VLAN Tag auch mit im Backup.

Eventuell hilft das um besser parallelen zu ziehen.

 

[MarroniJohny]

Hi

Da habe ich direkt eine Frage dazu. Und zwar hatte ich ursprünglich vor, von der neuen Firewall getagged 101, 102, 104 und 200 mit einer Strippe auf den ESXi zu fahren. Beim ESXi ist mir das klar. Da verwende ich den normalen vSwitch, und mache vier Portgruppen mit je einem VLAN Eintrag.

Aber da ich den Server wohl auch auf Proxmox ziehen muss, was müsste ich da genau machen? Das mit dem VLAN aware und subbridge habe ich nicht ganz verstanden. Wie erstelle ich da an einer Linux Bridge die Sub Bridge?

Da von OVS auf Linux Bridges wieder zurück bauen kann ich schon machen. Sehe den Sinn dahinter noch nicht, aber braucht es wohl eh nicht. Zugriff auf das Internet kriege ich eh nicht hin, siehe Post #1, da war es - genauso wie jetzt - auf einer Linux Bridge. An den OVS Bridges läuft ja alles, bzw, da ist im Moment nur die Sophos dran.

 

[Falk R.]

Hi

Da habe ich direkt eine Frage dazu. Und zwar hatte ich ursprünglich vor, von der neuen Firewall getagged 101, 102, 104 und 200 mit einer Strippe auf den ESXi zu fahren. Beim ESXi ist mir das klar. Da verwende ich den normalen vSwitch, und mache vier Portgruppen mit je einem VLAN Eintrag.

Aber da ich den Server wohl auch auf Proxmox ziehen muss, was müsste ich da genau machen? Das mit dem VLAN aware und subbrigde habe ich nicht ganz verstanden. Wie erstelle ich da an einer Linux Bridge die Sub Bridge?

Da von OVS auf Linux Bridges wieder zurück bauen kann ich schon machen. Sehe den Sinn dahinter noch nicht, aber braucht es wohl eh nicht. Zugriff auf das Internet kriege ich eh nicht hin, siehe Post #1, da war es - genauso wie jetzt - auf einer Linux Bridge. An den OVS Bridges läuft ja alles, bzw, da ist im Moment nur die Sophos dran.

Das Problem mit dem Internet liegt ja nicht am Bridge Typ sondern an dem verschachtelten Netzwerk und vermutlich falschem Gateway Setting.
Der OVS bringt einige zusätzliche Features und somit auch zusätzlich Eigenheiten, die man beachten muss. Für Anfänger und einfache Setups nehme ich immer standard bridges.
Mach es nicht so kompliziert wie beim ESXi, du brauchst bei deiner Brigde nur VLAN Aware anhaken und alle VMs auf die Bridge verbinden lassen. Bei der virtuellen Netzwerkkarte trägst du einfach die gewünschte VLAN ID ein und der Rest läuft automatisch.
Dieses Setup macht dir das Leben leichter bei Clustern und wenn du die VM mal auf einen neueren Host umziehen willst.

 

[MarroniJohny]

Das Problem mit dem Internet liegt ja nicht am Bridge Typ sondern an dem verschachtelten Netzwerk und vermutlich falschem Gateway Setting.

Siehe Post #1. Da ist es eine Linux Bridge, und der Gateway von der Zywall. Das ist ja grrr, sogar jetzt noch erreichbar. Und es ist immer noch eine Linux Bridge. Da hing das ganze Konstrukt noch nicht mal am Modem, sondern nur am pSwitch im VLAN 101. Der Host ist -und war ja die ganze Zeit erreichbar. Den aktuellen Gateway auf 50 habe ich nur eingetragen, damit der Host grrrrr ins Internet kommt. Dazu muss ich dann halt das WAN von der Sophos umstöpseln, weil ich am Modem wie gesagt nicht genug Ports habe. Aber das ist ja Detail, der Host muss im Moment nicht ins Internet kommen. Und sonst steck ich halt um.

Mach es nicht so kompliziert wie beim ESXi, du brauchst bei deiner Brigde nur VLAN Aware anhaken und alle VMs auf die Bridge verbinden lassen. Bei der virtuellen Netzwerkkarte trägst du einfach die gewünschte VLAN ID ein und der Rest läuft automatisch.

Ach so, das habe ich noch nie gesehen. Da wäre ich nicht mal darauf gekommen. Das scheint es bei ESXi gar nicht zu geben, gerade mal nachgeschaut.

Aber trotzdem zum Verständnis: wie läuft das mit den Sub Bridges und VLAN? Ist das analog zu Portgruppen, denen man ein VLAN zuweist? Ist ein Linux VLAN sowas wie eine Portgruppe? Und gehört ein Linux VLAN in eine Linux Bridge, oder ist das voneinander unabhängig? Das wäre mir irgendwie lieber. Also dass man für jede pNIC eine Bridge hat, und dann Sub Bridges mit einem VLAN, falls das geht. Aber werde sicher beides mal antesten.

Bezüglich Switche, Bridges und sowas, da scheint ESXi mit der grafischen Darstellung von den vSwitches etwas weiter zu sein. Wobei musste mich schon umstellen, als vmware vom vSphere Client auf den Host Client gewechselt hat. Im vSphere Client konnte man sich da eine graphische Übersicht anzeigen lassen, das war echt komfortabel.

 

[Falk R.]

Siehe Post #1. Da ist es eine Linux Bridge, und der Gateway von der Zywall. Das ist ja grrr, sogar jetzt noch erreichbar. Und es ist immer noch eine Linux Bridge. Da hing das ganze Konstrukt noch nicht mal am Modem, sondern nur am pSwitch im VLAN 101. Der Host ist -und war ja die ganze Zeit erreichbar. Den aktuellen Gateway auf 50 habe ich nur eingetragen, damit der Host grrrrr ins Internet kommt. Dazu muss ich dann halt das WAN von der Sophos umstöpseln, weil ich am Modem wie gesagt nicht genug Ports habe. Aber das ist ja Detail, der Host muss im Moment nicht ins Internet kommen. Und sonst steck ich halt um.

Genau das zweite Gateway hat dir den Tag versaut.

Ach so, das habe ich noch nie gesehen. Da wäre ich nicht mal darauf gekommen. Das scheint es bei ESXi gar nicht zu geben, gerade mal nachgeschaut.

Aber trotzdem zum Verständnis: wie läuft das mit den Sub Bridges und VLAN? Ist das analog zu Portgruppen, denen man ein VLAN zuweist? Ist ein Linux VLAN sowas wie eine Portgruppe? Und gehört ein Linux VLAN in eine Linux Bridge, oder ist das voneinander unabhängig? Das wäre mir irgendwie lieber. Also dass man für jede pNIC eine Bridge hat, und dann Sub Bridges mit einem VLAN, falls das geht. Aber werde sicher beides mal antesten.

Das mit den Subbridges ist das gleiche wie die Portgruppen bei vSphere. Dann verbindest du die virtuelle NIC auf die Subbridge und gibst keine VLAN ID mit.
Aber wenn du so eine VM aus dem BAckup zurückholst oder mal migrieren willst, musst du vorher die gleichen Subbridges angelegt haben.
Hast du einfach nur eine Bridge mit VLAN Aware und die VLAN ID steht in der VM Konfiguration, macht es dir das Leben viel leichter.
HyperV macht es genau so und mir gefällt diese Methode auch viel besser.
Gerade bei vSphere habe ich schon oft Netzwerkaussetzer beim migrieren gesehen, weil eine Portgruppe einen Tipfehler oder ein Leerzeichen mehr hatte.

 

[MarroniJohny]

Okay, danke. Hatte vSphere höchstens mal auf einen neuen Host migriert, und dann alles händisch wieder neu aufgezogen. Hatte mir halt Screenshots angelegt von den ganzen Netzwerkeinstellungen. Aber ja, das war jedes Mal ein Abenteuer, bis wieder alles lief. Meine ESXi hatten mit den VLANs bislang auch nichts zu tun, bin da immer ungetagged mit mehreren Strippen da drauf gefahren.

Habe da auch das Feature von "VM klonen" angesehen in Proxmox. Beim ESXi, bzw. allgemein bei vSphere kommt nach einem einbinden von einer kopierten VM immer die Frage "haben Sie diese VM kopiert oder verschoben?". Eben wegen der MAC, und so. Gibt es da was analog beim Proxmox? Weil bislang haben immer alle meine Clients ihre Adresse per DHCP bezogen, inkl der Gäste und allem. Bei Proxmox selbst schon vermisse ich irgendwie DHCP bei der Installation. Bei mir wurden da Adressen mässig alles per MAC Bindung vergeben.

Dann hatte ich versucht, beim neu aufsetzen von Proxmox meine ZFS wieder zu importieren. Aber die wurden scheinbar gelöscht. Das hatte ich paravirtuell auf dem ESXi mit mehreren angehängten vmdk getestet. Hast Du da eine Ahnung? Muss ich, wenn ich Proxmox neu aufsetze die Datenplatten mit ZFS abhängen, werden die gelöscht? Wenn ich da ein ZFS List mache, wird nichts gefunden.

 

[Falk R.]

Okay, danke. Hatte vSphere höchstens mal auf einen neuen Host migriert, und dann alles händisch wieder neu aufgezogen. Hatte mir halt Screenshots angelegt von den ganzen Netzwerkeinstellungen. Aber ja, das war jedes Mal ein Abenteuer, bis wieder alles lief. Meine ESXi hatten mit den VLANs bislang auch nichts zu tun, bin da immer ungetagged mit mehreren Strippen da drauf gefahren.

Deshalb meine Empfehlung.

Habe da auch das Feature von "VM klonen" angesehen in Proxmox. Beim ESXi, bzw. allgemein bei vSphere kommt nach einem einbinden von einer kopierten VM immer die Frage "haben Sie diese VM kopiert oder verschoben?". Eben wegen der MAC, und so. Gibt es da was analog beim Proxmox? Weil bislang haben immer alle meine Clients ihre Adresse per DHCP bezogen, inkl der Gäste und allem. Bei Proxmox selbst schon vermisse ich irgendwie DHCP bei der Installation. Bei mir wurden da Adressen mässig alles per MAC Bindung vergeben.

Wenn man eine VM klont, wird immer eine neue UUID und MAC vergeben. Beim ESXi ohne die Funktion mit dem manuellen kopieren hat da immer gefragt, weil der ESXi ja nicht weiß was du manuell gemacht hast.
Ein Hypervisor macht in der Regel nie DHCP, obwohl man das zwar installieren und einrichten könnte. Macht man aber nicht.
Die VMs bekommen ganz normal von deinem DHCP (i.d.R Router oder Firewall) und laufen damit. Der PVE nutzt den DHCP um dir eine Netzwerkkonfigurationsempfehlung zu erstellen, aber da wird immer eine statische IP vergeben. Sollte man beim ESXi auch machen.

Dann hatte ich versucht, beim neu aufsetzen von Proxmox meine ZFS wieder zu importieren. Aber die wurden scheinbar gelöscht. Das hatte ich paravirtuell auf dem ESXi mit mehreren angehängten vmdk getestet. Hast Du da eine Ahnung? Muss ich, wenn ich Proxmox neu aufsetze die Datenplatten mit ZFS abhängen, werden die gelöscht? Wenn ich da ein ZFS List mache, wird nichts gefunden.

Wa genau hast du da im ESXi gemacht? Wenn du die Platte mit dem ZFS nicht durch die neue installation überschreibst, wird nix gelöscht.
Wenn du in einer VM, VMDKs eingehängt hattest und die im ZFS Pool genutzt hattest, dann müsstest du den Inhalt der VMDKs auf andere Disks oder Partitionen klonen und dann funktioniert ein Import auch.

 

[MarroniJohny]

Ja, hatte halt eine virtuelle Installation mit Proxmox, wo zwei vmdk angehängt waren, wo ich auf dem alten Proxmox zwei ZFS angelegt hatte. Dann habe ich Proxmox auf die OS Platte drüber gebügelt. Danach konnte ich die ZFS nicht mehr importieren im neuen Proxmox. Wenn ich da ZFS list gemacht hatte, kam da nichts mehr zurück. War aber nur zum testen, und nicht weiter schlimm.

Im Moment habe ich auf dem ESXi ein napp-it Storage, wo ein HBA durchgereicht ist. Auf dem Storage habe ich midnight commander installiert, das brauche ich auch fleissig. Wenn ich dort ins Wurzelverzeichnis gehe, dann werden die ZFS angezeigt, und ich kann die auch durchsuchen.

Beim virtuellen Proxmox habe ich auch MC installiert. Im Wurzelverzeichnis werden die ZFS auch angezeigt, aber wenn ich die durchsuchen möchte, sind die "leer". Aber denke, ich werde dann wieder einen Filer am Proxmox betreiben, und die VMs/den Storage per NFS zurück geben. Am liebsten würde ich ja mein bestehendes napp-it mal anklemmen am neuen Proxmox. Aber napp-it ist leider noch nicht verfügbar für Proxmox, bzw. in Entwicklung. Gea aus dem Luxx hat das konstruiert. Kennst Du napp-it? Aber die ist leider gerade mit napp-it für Windows beschäftigt, und wurde scheinbar auch überrumpelt, was ESXi free anbelangt. So wird uns nicht langweilig. Ursprünglich war das Konstrukt von ihr mal für den ESXi gedacht.

 

[MarroniJohny]

Muss dazu sagen, dass es eine Freude ist mit Euch zu Fachsimpeln. Ihr könnt mir zwar teilweise nicht folgen, aber das könnte ich bei einem der von Proxmox zu ESXi wechselt und ähnlich speziell ist wohl auch nicht. Aber war geballt konstruktiv bislang. Merci.

 

[MarroniJohny]

Verkabelt sollte ja alles richtig sein:









*husthust*

 

[Falk R.]

Im Moment habe ich auf dem ESXi ein napp-it Storage, wo ein HBA durchgereicht ist. Auf dem Storage habe ich midnight commander installiert, das brauche ich auch fleissig. Wenn ich dort ins Wurzelverzeichnis gehe, dann werden die ZFS angezeigt, und ich kann die auch durchsuchen.

Napp-it kannte ich bisher nicht. MC ist ja nur ein TUI Tool wie früher auf DOS der Norton Commander.

Beim virtuellen Proxmox habe ich auch MC installiert. Im Wurzelverzeichnis werden die ZFS auch angezeigt, aber wenn ich die durchsuchen möchte, sind die "leer". Aber denke, ich werde dann wieder einen Filer am Proxmox betreiben, und die VMs/den Storage per NFS zurück geben. Am liebsten würde ich ja mein bestehendes napp-it mal anklemmen am neuen Proxmox. Aber napp-it ist leider noch nicht verfügbar für Proxmox, bzw. in Entwicklung. Gea aus dem Luxx hat das konstruiert. Kennst Du napp-it? Aber die ist leider gerade mit napp-it für Windows beschäftigt, und wurde scheinbar auch überrumpelt, was ESXi free anbelangt. So wird uns nicht langweilig. Ursprünglich war das Konstrukt von ihr mal für den ESXi gedacht.

Wo ist denn das Problem den Napp-it anzubinden? Wenn du iSCSI, NFS oder etwas anderes standardisiertes machst, dann geht das.

 

[MarroniJohny]

Ja, wie gesagt, in MC sind die ZFS LW leer am Proxmox obwohl da vDisks drauf sind. In napp-it werden da die Daten angezeigt.

napp-it hat leider keine Installationsroutine. Das wird als .ova Template ausgeliefert. Müsste also die Filer VM vom ESXi konvertieren.

Aber das mit dem Server lass ich vorerst mal. Das wird dann eine gröbere Umbauaktion. Will dann auch mal alles abbrechen, Kabel sauber ziehen und so. Wahrscheinlich dann im Herbst, wenn es wieder etwas kühler ist.