Proxmox, OPNsense und Qnap QXG-2G4T-I225

[FK10G]

Hi zusammen,

vorweg, ich bin komplett neu auf diesem Gebiet und bitte diverse ggf. nicht vorhandene Grundkenntnisse zu entschuldigen ;-)

ich versuche OPNsense auf einem Proxmox Server in einern VM zu installieren, das funktioniert soweit auch ganz gut, bis zu dem Punkt, an dem die 4 Netzweranschlüsse mit durchgereicht werden sollen.
ab jetzt lief alles schief.
es ging los mit IOMMU problemen, die inzwischen gelöst wurden.
Sobald ich bei der VM unter Hardware -> Add -> PCI Device -> Raw Device
einen der 4 ports anwähle (Ethernet Controller I225-LM) (All Functions Häckchen gesetzt)
startet die VM nicht mehr richtig.
Error: can´t look file /var/lock/qemu-server/lock-101.conf - got timeout

und nach
qm unlock 101
Error: Failed to run vncproxy

bin über jede Hilfe dankbar

Grüße

 

[Belegnor]

Hallo FK10G

Mit den angegebenen Informationen wird es vermutlich schwierig (auch für erfahrene User) eine Diagnose zu erstellen.

Einige Fragen habe ich jedoch:

• Hast du das gleiche Problem, wenn du die VM mit einer Bridge verbindest?
• Wie sieht die Konfiguration der Interfaces aus?
• Was ist deine Zieltopologie/-Architektur?
• Willst du nur die OPNsense FW virtualisieren, oder kommen evtl. weitere VMs dazu?

Es gibt sicher Szenarien, in denen das Durchreichen des Netzwerkadapters sinnvoll ist. Allerdings verbaust du dich einige Möglichkeiten.

Ich persönlich bevorzuge, die VMs mit einer Bridge zu verbinden. Dadurch kann ich weitere VMs mit dm Netzwerk verbinden. Zudem vereinfacht es den Einsatz von VLANs, falls sie irgendwann geplant werden. Mit durchgereichten Adaptern wird dies schwieriger.

Grüsse

 

[FK10G]

Hi Belegnor,

danke für dein Antwort... welche Informationen sollte ich denn zur Verfügung stellen, dass eine Diagnose möglich ist?
ist nicht so, dass ich diese Informationen nicht teilen möchte, sondern eher nicht weiß was wichtig ist...

Wenn ich die VM mit einer Bridge verbinde, startet alles.

ich habe mich an diese Anleitung gehalten.
https://www.wundertech.net/how-to-install-opnsense-in-proxmox/
Ab Schritt 11 starten die Probleme

... wie kann ich die Konfiguration des Interfaces teilen?

Auf dem Server soll folgendes laufen:
OPNsense
KNX homeserver
Nextcloud
und später noch ein Kameraserver

da ich weder Vor- noch Nachteile vom Durchreichen oder Nutzung via Bridge verstehe, bin ich damit einverstanden, wenn es einfach funktioniert...

naja es wäre z.B. super wenn die Netzwerke nicht all untereinander verbunden wären. da Nextcloud z.B. nicht mit KNX zu tun haben soll.

nochmals vielen Dank für deine Hilfe

Grüße

 

[Belegnor]

Hallo FK10G

... wie kann ich die Konfiguration des Interfaces teilen?

Du könntest Screenshots der Netzwerkeinstellungen im Proxmox UI, oder besser noch den Befehl "cat /etc/network/interfaces" im Proxmox Shell eingeben und die Ausgabe kopieren.

ich habe mich an diese Anleitung gehalten.
https://www.wundertech.net/how-to-install-opnsense-in-proxmox/
Ab Schritt 11 starten die Probleme

Die Anleitung sollte nur als Referenz verstanden werden. In Proxmox ist es möglich Hardware durchzureichen. Allerdings bedeutet dies, dass die durchgereichte Komponente exklusiv nur für gewählte VM verfügbar ist. Versucht eine andere VM auf die gleiche Ressource, dann kann es zu Konflikten kommen. Aus dem Grund wäre meine Empfehlung, nur HW durchzureichen, wenn diese nicht von anderen VMs benötigt wird. Gerade bei Netzwerkadaptern ist die Wahrscheinlichkeit recht gross, dass diese von mehreren VMs verwendet/benötigt werden ...

In deinem Fall wäre der Einsatz von (VLAN aware) Bridges die bessere Wahl, vor allem wegen der Flexibilität. Wenn du sowieso vorhast, verschiedene VMs in getrennten Netzwerken zu installieren, dann ist es relativ einfach dies zu implementieren. Du musst nur die nötigen virtuellen Adapter in der Konfiguration der VM erstellen und diese mit den entsprechenden Bridges verbinden.

Im Fall von OPNsense gibt es zwei Varianten. Du könntest nur einen Interface erstellen und VLANs in der Firewall konfigurieren. Allerdings muss deine Netzwerkinfrastruktur (Switches) ebenfalls VLANs unterstützen. Alternativ könntest du mehrere virtuelle Netzwerkadapter erstellen und mit dem entsprechenden Bridges verbinden. In diesem Szenario werden VLAN-fähige Switches zwar nicht unbedingt benötigt, allerdings wären sie jedoch sehr empfehlenswert ...

Vielleich hilft der folgende Beitrag dabei, zu verstehen, wie ein solches Szenario aussehen könnte:

https://forum.proxmox.com/threads/create-multiple-ip-networks-in-proxmox.77934/#post-345939

Es wäre sicher eine Gute Idee, zuerst eine Zeichnung deiner Zieltopologie zu erstellen, um zu wissen, wie viele Netze benötigt werden und wie sie miteinander verbunden sein sollen. Der zweite Schritt wäre dann, diese Topologie in Proxmox abzubilden.

Ich hoffe, das hilft weiter

Grüsse

 

[FK10G]

Hey Belegnor,

hier das Ergebnis von dem Befehl "cat /etc/network/interfaces"
(hab gestern noch die Bridges erstellt... keine Ahnung ob das so passt...

Linux home 6.5.13-1-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.13-1 (2024-02-05T13:50Z) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Fri Mar 15 21:31:22 CET 2024 on pts/0
root@home:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno1 inet manual

auto enp3s0
iface enp3s0 inet manual

auto enp4s0
iface enp4s0 inet manual

auto enp6s0
iface enp6s0 inet manual

auto enp7s0
iface enp7s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.10.55/24
        gateway 192.168.10.1
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet static
        address 192.168.20.55/24
        bridge-ports enp3s0
        bridge-stp off
        bridge-fd 0

auto vmbr2
iface vmbr2 inet static
        address 192.168.30.55/24
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet static
        address 192.168.40.55/24
        bridge-ports enp6s0
        bridge-stp off
        bridge-fd 0

auto vmbr4
iface vmbr4 inet static
        address 192.168.50.55/24
        bridge-ports enp7s0
        bridge-stp off
        bridge-fd 0

source /etc/network/interfaces.d/*

soweit so gut... Die IP Adressen sind, abgesehen von der 192.168.10.xx noch als Platzhalter mehr oder weniger frei erfunden... können quasi angepasst werden.

Die Anleitung sollte nur als Referenz verstanden werden. In Proxmox ist es möglich Hardware durchzureichen. Allerdings bedeutet dies, dass die durchgereichte Komponente exklusiv nur für gewählte VM verfügbar ist. Versucht eine andere VM auf die gleiche Ressource, dann kann es zu Konflikten kommen. Aus dem Grund wäre meine Empfehlung, nur HW durchzureichen, wenn diese nicht von anderen VMs benötigt wird. Gerade bei Netzwerkadaptern ist die Wahrscheinlichkeit recht gross, dass diese von mehreren VMs verwendet/benötigt werden ... ;)

ok, verstehe

In deinem Fall wäre der Einsatz von (VLAN aware) Bridges die bessere Wahl, vor allem wegen der Flexibilität. Wenn du sowieso vorhast, verschiedene VMs in getrennten Netzwerken zu installieren, dann ist es relativ einfach  dies zu implementieren. Du musst nur die nötigen virtuellen Adapter in der Konfiguration der VM erstellen und diese mit den entsprechenden Bridges verbinden.

du musst nur..... ;-) sehr gut... was genau muss ich machen und wie?

Im Fall von OPNsense gibt es zwei Varianten. Du könntest nur einen Interface erstellen und VLANs in der Firewall konfigurieren. Allerdings muss deine Netzwerkinfrastruktur (Switches) ebenfalls VLANs unterstützen. Alternativ könntest du mehrere virtuelle Netzwerkadapter erstellen und mit dem entsprechenden Bridges verbinden. In diesem Szenario werden VLAN-fähige Switches zwar nicht unbedingt benötigt, allerdings wären sie jedoch sehr empfehlenswert ... ;)

naja, die Aufgabe von OPNsense sollte lediglich sein eine "sichere" Internetverbindung herszustellen. Im Haus ist Glasfaser von der Telekom inkl. das lustige Telekom Glas auf Kupfer Modem. von diesem Modem gehe ich momentan auf die Fritzbox, die ich los werden möchte.

Es wäre sicher eine Gute Idee, zuerst eine Zeichnung deiner Zieltopologie zu erstellen, um zu wissen, wie viele Netze benötigt werden und wie sie miteinander verbunden sein sollen. Der zweite Schritt wäre dann, diese Topologie in Proxmox abzubilden.

um eine Zeichnung anfertigen zu können müsste ich das etwas mehr verstehen, sorry....

Grüße und vielen DANK!!!

 

[Belegnor]

Hallo FK10G

soweit so gut... Die IP Adressen sind, abgesehen von der 192.168.10.xx noch als Platzhalter mehr oder weniger frei erfunden... können quasi angepasst werden.

Die Konfiguration sieht soweit OK aus. Eine IP Adresse wird in der Regel nur für das Proxmox Management Interface benötigt. Die anderen Interfaces brauchen keine IP (ausser man will einen Cluster bilden), da die IP eher auf der VM konfiguriert wird.

du musst nur..... ;-) sehr gut... was genau muss ich machen und wie?

In der Konfiguration der VM musst du einen Netzwerkadapter hinzufügen und diesen mit der entsprechenden Bridge verbinden. In dem Beitrag, den in meiner letzten Nachricht verlinkt habe, wird es zwar angezeigt, aber nicht explizit erwähnt. Es würde so aussehen:




In deinem Fall müsstest du so viele virtuelle NICs hinzufügen, wie Zonen geplant sind

um eine Zeichnung anfertigen zu können müsste ich das etwas mehr verstehen, sorry....

Eine Zeichnung kann auch ohne "tiefere" Kenntnisse angefertigt werden. Hier ein Beispiel:



Eine solche Zeichnung hilft dabei, deine Netzwerktopologie zu visualisieren. Selbstverständlich ist diese Zeichnung als Referenz zu verstehen. Du wirst sie deinen Anforderungen anpassen müssen.

Der zweite Schritt wäre dann, diese Topologie in Proxmox abzubilden. So ein Szenario könnte etwa so aussehen:



Wie du sehen kannst, brauchst du einen Switch pro Zone, wenn physische Geräte mit den entsprechenden Netzen verbinden willst. Die Verwendung von VLANs würde das Szenario vereinfachen und flexibler gestalten.

Ich hoffe, das hilft weiter.

Grüsse

 

[FK10G]

Hey Belegnor,

wir machen riesen Fortschritte hier!!! vielen Dank!

In der Konfiguration der VM musst du einen Netzwerkadapter hinzufügen und diesen mit der entsprechenden Bridge verbinden. In dem Beitrag, den in meiner letzten Nachricht verlinkt habe, wird es zwar angezeigt, aber nicht explizit erwähnt. Es würde so aussehen:

genau das hab ich gemacht... zwar viermal, weil ich vier NICs habe..., gut der Hintergrund war falsch ABER der Weg war richtig

so in etwa soll das ganze dann aussehen... hoffe es passt so...



mit diesen Zugängen...


da der QNAP1 wohl ausschließlich von einer VM benutzt wird, muss dieser in proxmox durchgereicht werden?

Was wären die nächsten Schritte um das zu realisieren?

Danke und Grüße

 

[Belegnor]

Hallo FK10G

Ich bin ein bisschen verwirrt. Weiter oben hast du dies erwähnt, ...

naja es wäre z.B. super wenn die Netzwerke nicht all untereinander verbunden wären. da Nextcloud z.B. nicht mit KNX zu tun haben soll.

... aber in deiner Zeichnung sehe ich folgendes ..



Wenn du den Verkehr zwischen Nextcloud und KNX regeln willst, dann müssen diese Systeme in verschiedenen Netzen sein.

In Fall des Gastnetzes stellt sich die Frage, ob es nicht sinnvoller wäre, es direkt mit dem Telekom Router zu verbinden. Das Netzwerk hinter der Firewall anzuschliessen ergibt nur Sinn, wenn man den Internetzugriff einschränken will, z. B. mithilfe der Firewall Rules bzw. der Proxy-/Webfilterfunktion von OPNsense.

In deiner Zeichnung scheinst du die Netzwerkadapter in den Fokus zu rücken. Dabei sind sie nur die Verbindung zwischen Proxmox und den verschiedenen Netzen. Im Netzwerk darf man sich nicht nur auf die Physik konzentrieren, sondern auch die anderen OSI Schichten berücksichtigen.

Du willst deine Geräte zwar trennen, aber sie sollen mit anderen Netzen (z. B. Internet) kommunizieren. Hierfür benötigst du eine Routing-Instanz (z. B. Firewall). Wenn wir meine Beispielzeichnung nehmen ...




... wirst du feststellen, dass die Firewall VM mit allen NICs über die entsprechenden Bridges verbunden ist. Dies ist notwendig, damit die verschiedene Netze ein Verbindungspunkt zu anderen Netze erhalten. In meiner Zeichnung zeigen die Pfeile die sogenannte Default Route (d. h., den Weg zu anderen Netzen) an. Das bedeutet, dass die Firewall das Default Gateway für die internen Netze (LAN, DMZ, IoT) ist. Die Firewall selber hat auch ein Default Gateway (Internet Router) zum Internet, welches über das WAN Netz erreichbar ist.

Wie bereits erwähnt, sind meine Zeichnungen nur ein Beispiel. Du musst selber entscheiden, wie dein Netzwerk aussehen soll und das Beispiel deinen Anforderungen anpassen (inkl. Interfacename).



Du wirst schon ein paar Rules mehr benötigen ...

Nochmals, deine Geräte bauen keine Verbindung zu einem Interface, sondern zu Systemen bzw. Netzen hinter einem Interface. Der Netzwerkadapter ist nur ein ein Anschluss.



In OPNsense musst du die entsprechenden Rules erstellen, sodass die internen Netze auf das Internet zugreifen können. Dies würde auch das Netz hinter "QNAP3" inkludieren.



Hier müssen die entsprechenden NAT Rules sowohl auf dem Internet Router als auch auf der Firewall erstellt werden. Allerdings bringen direkte Zugriffe aus dem Internet gewisse Risiken mit sich. Meine Empfehlung wäre, die Reverse Proxy Funktion von OPNsense (NGINX oder HAProxy) zu verwenden.



Die entsprechenden Rules müssen erstellt werden. Du musst nur noch entscheiden, wie offen oder eingeschränkt der Zugriff sein soll



Mir ist schleierhaft, wozu KNX Zugriff auf PCs, Tablets usw. benötigt, aber einfach die entsprechenden Rules erstellen

Ich hoffe, diese Informationen helfen weiter. Bei Fragen zur Konfiguration von OPNsense wende dich bitte an die OPNsense Community.

Grüsse

 

[FK10G]

Hi Belegnor,

Ich bin ein bisschen verwirrt.

willkommen in meiner Welt ;-)...

ok... dann noch ein Versuch...

Wenn du den Verkehr zwischen Nextcloud und KNX regeln willst, dann müssen diese Systeme in verschiedenen Netzen sein.

alles was physikalisch am selben Switch hängt, kann nicht geregelt werden... stimmt das?

In Fall des Gastnetzes stellt sich die Frage, ob es nicht sinnvoller wäre, es direkt mit dem Telekom Router zu verbinden. Das Netzwerk hinter der Firewall anzuschliessen ergibt nur Sinn, wenn man den Internetzugriff einschränken will, z. B. mithilfe der Firewall Rules bzw. der Proxy-/Webfilterfunktion von OPNsense.

das wird schwierig, da ich kein Telekom Router mehr haben möchte.

Mein Haus wird direkt mit Glas versorgt und dann hängt dort ein Glasfaser Modem von der Telekom.

aus dem Modem kommt dann Kupfer und geht in die Fritzbox, die ich durch OPNsense ersetzten möchte.
Also sollte auch OPNsense die Internetverbindung herstellen.

Was ist der Unterschied zwischen ETHx und ENOx?

In deiner Zeichnung scheinst du die Netzwerkadapter in den Fokus zu rücken. Dabei sind sie nur die Verbindung zwischen Proxmox und den verschiedenen Netzen. Im Netzwerk darf man sich nicht nur auf die Physik konzentrieren, sondern auch die anderen OSI Schichten berücksichtigen.

auch hier auf ein Neues...



wäre es theoretisch auch denkbar der Nextcloud VM keinen NIC zuzuweisen und nur über eine Bridge kommunizieren zu lassen?

Mir ist schleierhaft, wozu KNX Zugriff auf PCs, Tablets usw. benötigt, aber einfach die entsprechenden Rules erstellen

z.B. schaltet mein KNX nicht nur über Aktoren, sondern auch HUE lampen. das geht aber nur wenn das KNX Netzwerk Zugang zur HUE Bridge hat.

Zur Konfiguration frage von OPNsense frage ich dann direkt dort nach... ;-)

Danke und Grüße

 

[Belegnor]

Hallo FK10G

alles was physikalisch am selben Switch hängt, kann nicht geregelt werden... stimmt das?

In der Regel ja. Etwas anderes wäre es, wenn VLANs verwendet würden. Aber grundsätzlich gilt, dass alle Geräte miteinander kommunizieren können, wenn sie sich im gleichen Netz befinden.

Was ist der Unterschied zwischen ETHx und ENOx?

Nur der Name des Interfaces. Diese Name wird vom Betriebssystem vergeben. "eth[0-9] ist der meistbekannte. Proxmox verwendet zum Teil "eno[0-9]", zum Teil "enp[0-9]s0".

wäre es theoretisch auch denkbar der Nextcloud VM keinen NIC zuzuweisen und nur über eine Bridge kommunizieren zu lassen?

Die Nextcloud VM muss schon einen virtuellen Netzwerkadapter haben, sie erreichbar ist. An welcher Bridge du sie anhängst, bleibt dir überlassen

z.B. schaltet mein KNX nicht nur über Aktoren, sondern auch HUE lampen. das geht aber nur wenn das KNX Netzwerk Zugang zur HUE Bridge hat.

Was spricht dagegen, KNX, HUE, Kameras und TVs in einer gemeinsame IoT-Zone zu platzieren? Es wäre sogar das naheliegendste.

 

[FK10G]

Hi Belegnor,

danke für deine schnellen Antworten!!!

Was spricht dagegen, KNX, HUE, Kameras und TVs in einer gemeinsame IoT-Zone zu platzieren? Es wäre sogar das naheliegendste.

bis auf, dass ich ein weiteres Switch brauchen würde wohl eine sehr gute Idee.

da ich aber das "Durchreichen" eines Anschlusses an die VM von OPNsense nicht hinbekomme, kann ich nicht testen ob OPNsense eine Internetverbindung aufbauen kann und somit sieht es so aus als ob das ganze Projekt gerade stirbt ;-(...

Danke für deine Hilfe

 

[Jens_Le]

Nun mit durchreichen von Karten zu OPNsense ist es nicht getan wenn man die Fritz box ersetzen will. Da muss dann PPOE mit richtigem vlan tag für Telekom eingerichtet werden. In der OPNsense. Im erstem schritt geht auch Bridge an netzwerkkarten erstellen. Keine IP drauf im Proxmox. Eine Bridge mit Kabel geht in die Fritz box. Das ist das Wan aus Sicht von OPNsense. Aus Sicht von der Fritz box das lan. Eine Bridge mit Kabel in dein normales lan.

Ich mache mal über Ostern eine Video Anleitung.

 

[FK10G]

Hi Jens,

Ich mache mal über Ostern eine Video Anleitung.

Das wäre super hilfreich.

Ich verstehe aber folgendes nicht.

Eine Bridge mit Kabel geht in die Fritz box.

Ich will ja eben keine FRITZ!box mehr haben… auch nicht als Switch.

Oder wie ist das gemeint?

Danke und Grüße

 

[Jens_Le]

Das ist mal als Übergang zum testen gedacht. Wie gesagt. Abschaffung der Fritzbox erfordert weitere Maßnahmen. Auf der Ebene OPNsense.

 

[FK10G]

Ok super.
Hab im OPNsense Forum schon ein bisschen gesucht… aber auf die Schnelle keine Anleitung für Telekom gefunden, so dass ich schon fast gezweifelt habe ob’s überhaupt so funktioniert wie ich mir das vorstelle…
Aber deine Antwort beruhigt mich jetzt schon…. Danke!!!

 

[Jens_Le]

Haste das schon gelesen? https://forum.opnsense.org/index.php?topic=39556.0

 

[FK10G]

Ja, hab ich gelesen… nicht alles zu 100% verstanden… aber bin wieder positiver gestimmt.
Drei grundlegende Fragen hätte ich noch.
1. Funktioniert das auch ohne direkt durchgereichtem NIC? Also mit einer Bridge.

2. Muss ich bei der Telekom anrufen und irgendwas freischalten lassen?

3. Für welche Einstellung oder für was genau muss ich mich auf die Weboberfläche des ONT / Telekom Glasfaser Modem aufschalten?

Danke und frohe Ostern

 

[Jens_Le]

Nun.

1 -> Ja
2 -> Nein
3 -> Nicht notwendig.

Alle Infos entsprechen meinem Setup.
Telekom Glasfaser mit deren Modem. Betrieb mit einer Fritzbox geht genauso wie eine reine OPNsense.

Videos sind in Arbeit.

 

[FK10G]

Wenn es mit und auch ohne FRITZ!Box geht, warum entscheidet man sich dann für MIT FRITZ!Box? Ist ja dann ein Stromverbraucher mehr als notwendig… oder was ist der Vorteil?

Videos sind in Arbeit.

Danke, kann’s kaum erwarten

Grüße

 

[cwt]

Nur am Rande zur Erläuterung, woher bei Debian die Namensgebung der Interfaces kommt (predictable names scheme):

- alles mit dem Buchstaben O im Namen -> onboard (eno1, eno3, wlo1, etc.)

- alles mit S im Namen -> slot (PCI-Karten bspw., ens1, ens2, usw.)

- alles mit P im Namen -> path (meist das, was über den PCIe Bus läuft, onboard oder Karte), enp1s2f0, enp3s1f1, usw.