VLAN trunk von Proxmox nach FreeNAS?

[Dunuin]

Hallo,

Ich habe hier 2 Server mit je 3 NICs wovon je eine NIC für eine Direktverbindung zwischen beiden Server benutzt wird, damit Proxmox direkt auf die Shares vom NAS zugreifen kann. Nun würde ich gerne VLANs nutzen, damit ich 2 getrennte Netze über diese eine Direktverbindung schicken kann. Denn manche VMs auf dem Proxmox-Server sitzen in einem DMZ-Netz und mache VMs in einem Intranet-Netz. Zugang zum NAS gibt es über das dritte Netz, welche NAS und Proxmox verbindet.
Nur hebelt das ja aktuell die Isolation der DMZ ziemlich aus, wenn sowohl die VMs in der DMZ als auch die VMs im Intranet zusätzlich noch ein Interface haben welches beide VMs in einem gemeinsamen Netz mit dem NAS verbindet. Daher wollte ich bei der Direktverbindung von Proxmox zum NAS gerne 2 per VLANs getrennte Netze haben, damit sich die DMZ-VMs und Intranet-VMs nicht ein Netz teilen müssen, wenn sie auf Shares vom NAS zugreifen wollen.

Also aktuell sieht das so aus und läuft auch ganz gut:



So in etwa dachte ich mir das, wie das gerne mit VLANs hätte:


Nur stehe ich da gerade voll auf dem Schlauch, weil das mein erster Versuch mit VLANs ist.

1.) Würde das überhaupt mit VLANs so gehen? Ich habe ja keinen managed Switch aber sowohl Proxmox als auch FreeNAS scheinen mit VLANs arbeiten zu können und bei der Direktverbindung von Proxmox zu FreeNAS steckt ja auch kein Switch dazwischen, da dort einfach nur die NICs direkt per LAN-Kabel verbunden sind. Da sollte dann das Betriebssystem mit der NIC das VLAN tagging für den Trunk übernehmen können oder?
2.) Kann ich das VLAN tagging auf dem Proxmox-Server von den Linux Bridges vmbr5 und vmbr6 übernehmen lassen, dass da einfach alles was an den Bridges hängt mit VLAN-ID 44 oder VLAN-ID 45 getaggt wird und so die VMs kein VLAN mehr brauchen? Oder muss ich in jeder VM selbst das VLAN einrichten und der VM sagen, welche VLAN-ID diese nehmen soll. Ich denke das wäre sicherer wenn die VM nicht selbst entscheiden darf, in welchem VLAN sie sein möchte.
3.) Wenn Proxmox auch selbst auf die Shares von NAS zugreifen muss, um dort die Backups, ISOs etc auf ein NFS-Share zu speichern, brauche ich da dann ein extra Interface wie ens5.45 bei mir auf dem Bild oder kann ich vmbr6 auch einfach eine statische IP verteilen und Proxmox würde dann die IP nutzen und so über die Bridge auf das NAS zugreifen?
4.) Wie läuft das auf dem NAS? Ich habe da einige Tutorials angeguckt, aber dort verwenden die auf dem NAS immer Bridges um Jails oder VMs in ein VLAN zu bringen und die ganzen IPs usw wären dann auf dem Gast-System eingestellt worden. Ich will da ja aber gar keine Gäste haben, sondern einfach nur eine IP im jeweiligen VLAN haben, damit ich da meine Dienste wie NFS und SMB bereitstellen kann. Also quasi 2 virtuelle NICs welche die Dienste dann ansprechen können. Bei den Diensten muss ich dann ja eine ListenIP bzw ein ListenInterface angeben, damit die Shares in dem jeweiligen Netz bereitgestellt werden.
5.) Und wie läuft das mit den Subnetz und IPs beim VLAN? Wenn ich das richtig verstanden habe läuft die Isolierung ja auf Layer3-Ebene mit dem Tagging aber der Transport läuft ja normal über Layer2 weiter. Brauche ich da dann noch ein weiteres Subnetz für ens5 und em0 wie z.B. 192.168.0.0/16 mit jeweils einer IP für jede NIC über was dann die VLANs mit mit Subnetz 192.168.44.0/24 und 192.168.45.0/24 übertragen werden?

Kann mir da jemand einen Tipp geben, wie ich bei Proxmox die Interfaces und Bridges konfigurieren muss?
Ich habe da z.B. keine Ahnung wann ich eine Bridge auf vlan-aware stellen muss.

Das hier ist meine aktuelle Netzwerk-Konfig auf dem Proxmox-Server:

auto lo
iface lo inet loopback

iface eno2 inet manual
        dns-nameservers 192.168.43.1
#Intranet NIC

iface eno1 inet manual
#DMZ NIC

iface ens5 inet manual
#NAS NIC

auto vmbr1
iface vmbr1 inet static
        address 192.168.42.50/24
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
#DMZ Bridge

auto vmbr2
iface vmbr2 inet static
        address 192.168.45.2/24
        bridge-ports ens5
        bridge-stp off
        bridge-fd 0
#NAS Bridge

auto vmbr0
iface vmbr0 inet static
        address 192.168.43.50/24
        gateway 192.168.43.1
        bridge-ports eno2
        bridge-stp off
        bridge-fd 0
#Intranet Bridge

Und das die Netzwerk-Config auf dem FreeNAS:

 ifconfig
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        description: DL NAS-Supervisor
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether XX:XX:XX:XX:XX:XX
        hwaddr XX:XX:XX:XX:XX:XX
        inet 192.168.45.1 netmask 0xffffff00 broadcast 192.168.45.255
        nd6 options=9<PERFORMNUD,IFDISABLED>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        description: ethintra
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether XX:XX:XX:XX:XX:XX
        hwaddr XX:XX:XX:XX:XX:XX
        inet 192.168.43.10 netmask 0xffffff00 broadcast 192.168.43.255
        nd6 options=9<PERFORMNUD,IFDISABLED>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        description: ethdmz
        options=6403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether XX:XX:XX:XX:XX:XX
        hwaddr XX:XX:XX:XX:XX:XX
        inet 192.168.42.9 netmask 0xffffff00 broadcast 192.168.42.255
        nd6 options=9<PERFORMNUD,IFDISABLED>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4
        inet 127.0.0.1 netmask 0xff000000
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: lo

 

[pakuzaz]

Warum so kompliziert?

 

[Belegnor]

Hallo Dunuin

Dein Design ist ein „bisschen speziell“ bzw. verwirrend. Der Einsatz einer Firewall würde das ganze massiv vereinfachen und ein besseres Isolieren der Systeme bzw. VMs ermöglichen.

VLANs zu verwenden wäre auch eine gute Idee. Allerdings brauchst Du hierfür VLAN-fähige Switches, damit die VMs und Geräte in den verschieden VLANs miteinander kommunizieren können, sei es direkt oder über eine firewall.

Wenn ich Dich richtig verstanden habe, dann hast Du VMs/Containers sowohl auf dem Proxmox Host als auch auf dem NAS. Ist das richtig? In diesem Fall wäre dieser Beitrag evtl. nützlich:

https://forum.proxmox.com/threads/shared-lan-between-2-nodes.78016/

Dabei geht es zwar um die Kommunikation zwischen zwei Proxmox Nodes, aber das Disign lässt sich auch in Deinem Fall (mit einigen Anpassungen) anwenden. Ich weiss leider nicht, wie leicht sich VMs bzw. Jails unter FreeNAS in die VLANs verschieben lassen, aber die Netzwerkanbindung dürfte ähnlich sein.

Ich hoffe, dass diese Informationen weiterhelfen.

Gruss

 

[Dunuin]

Warum so kompliziert?

Naja, das aktuelle Design hat 2 Vorteile.
Erstens sind VMs, die vom Internet erreichbar sind, in einer DMZ isoliert, was alle anderen Rechner im Intranet schützen sollte
Zweitens kann ich mit der Direktverbindung zum NAS mehr Bandbreite nutzen. Wenn ein Client im Intranet oder in der DMZ auf einen Dienst vom Proxmox-Server zugreift, dann hat der Client die volle Gbit Bandbreite zum Proxmox und der wiederum die volle Gbit Bandbreite zum NAS. Hätte ich die Direktverbindung zum NAS nicht, dann müsste beides über die selbe NIC laufen und die Bandbreite wäre halbiert. Praktisch für so Anwendungen wie Nextcloud oder Emby, wo die VM mit dem Dienst auf dem Proxmox-Server läuft, die eigentlichen Daten aber vom NAS geholt werden müssen.

Der Sinn von der DMZ ist ja aber, dass da die Rechner in der DMZ vom Intranet abgeschottet sind und nicht miteinander kommunizieren können, was aber umgangen wird, wenn sowohl die VMs aus der DMZ als auch die VMs aus dem Intranet beide ein zweites Interface haben und damit dann doch wieder im selben Netz sind und zusammen kommunizieren können, weil sie sich ein gemeinsames Netz zum NAS teilen. Ich habe aber keine PCIe Slots mehr frei für eine weitere NIC, daher die Idee das mit VLANs zu machen.

Hallo Dunuin

Dein Design ist ein „bisschen speziell“ bzw. verwirrend. Der Einsatz einer Firewall würde das ganze massiv vereinfachen und ein besseres Isolieren der Systeme bzw. VMs ermöglichen.

Das war nur ein sehr vereinfachtes Diagramm was die Verbindung zwischen Proxmox und FreeNAS darstellen sollte. In meinem Heimnetz habe ich jetzt 6 Router und 13 Netze. DMZ und Intranet sind über Router und Firewalls getrennt, dass da die DMZ nichts ins Intranet kommt, das Intranet aber in die DMZ. Mir ging es da jetzt wirklich nur um die eine Direktverbindung ohne Switch zwischen NAS und Proxmox, was halt die Isolation etwas aushebelt, wenn sich beide getrennte Netze doch wieder ein drittes gemeinsames Netz teilen und dann dort doch wieder kommunizieren könnten. Deshalb wollte ich gerne, dass die DMZ ein eigenes Netz zum NAS hat und das Intranet ein eigenes Netz zum NAS, aber das beides über eine NIC. Dachte da würde sich VLAN für anbieten.

VLANs zu verwenden wäre auch eine gute Idee. Allerdings brauchst Du hierfür VLAN-fähige Switches, damit die VMs und Geräte in den verschieden VLANs miteinander kommunizieren können, sei es direkt oder über eine firewall.

Einen Managed Switch hatte ich auch schon auf der Wunschliste. Aber da würde ich dann gerne einen nehmen der neben 24x Gbit auch 4x 10GBit Ports hat. Zusammen mit den Kabeln und 3x 10Gbit-Netzwerkkarten wäre ich dann aber bei gut 400-500€, Das war leider bisher finanziell nicht drin.

Wenn ich Dich richtig verstanden habe, dann hast Du VMs/Containers sowohl auf dem Proxmox Host als auch auf dem NAS. Ist das richtig? In diesem Fall wäre dieser Beitrag evtl. nützlich:

Nein, VMs und LXCs laufen ausschließlich auf dem Proxmox-Server. Auf dem FreeNAS-Server habe ich aber einen Großteil des Storages, welcher per Shares in die VMs und den Proxmox-Host selbst eingebunden wird. Auf dem FreeNAS-Server hätte ich also gerne 2 Interfaces (192.168.44.1/24 und 192.168.45.1/24) auf welchen SMB und NFS bereitgestellt werden. Und auf dem Proxmox-Host dann zwei Bridges, einmal im 192.168.44.0/24-Netz und einmal im 192.168.45.0/24-Netz, damit alle VMs an den jeweiligen Bridges auf die Shares vom NAS zugreifen können. Und die beiden Interfaces auf dem FreeNAS-Server sollten dann über einen Trunk mit den beiden Bridges auf dem Proxmox-Server verbunden werden. Und die beiden Server sind direkt per LAN-Kabel miteinander verbunden ohne Switch dazwischen.
Routing usw. wäre in dem Fall egal. Das erledigen die Router die an den Switches im 192.168.42.0/24-Netz und 192.168.43.0/24-Netz hängen.
Das 192.168.44.0/24-Netz und 192.168.45.0/24-Netz wäre echt nur dafür da, damit die VMs und Proxmox selbst die Shares auf dem NAS erreichen können, ohne dafür das 192.168.42.0/24-Netz und 192.168.43.0/24-Netz nutzen zu müssen.

https://forum.proxmox.com/threads/shared-lan-between-2-nodes.78016/

Dabei geht es zwar um die Kommunikation zwischen zwei Proxmox Nodes, aber das Disign lässt sich auch in Deinem Fall (mit einigen Anpassungen) anwenden. Ich weiss leider nicht, wie leicht sich VMs bzw. Jails unter FreeNAS in die VLANs verschieben lassen, aber die Netzwerkanbindung dürfte ähnlich sein.

Danke, das werde ich mir später mal in Ruhe durchlesen.

Edit:
Hier vielleicht nochmal zum besseren Verständnis.
So läuft das aktuell:

DMZ-Netz und Intranet-Netz sind per Router/Firewall isoliert und die VM links sollte nicht mit der VM rechts kommunizieren können. Da beide VMs aber Zugang zu den Shares auf dem NAS haben sollen, hat jede VM auch ein zweites Interface mit der sie gemeinsam an der Bridge vmbr2 hängen. So kommen zwar beide VMs an das NAS, aber mit Isolierung ist da nicht mehr viel, da beide doch wieder im selben Netz sind und miteinander kommunizieren können.

Hätte ich jetzt noch eine NIC auf beiden Servern frei, dann wäre das Problem ganz einfach gelöst. Ich würde einfach beide Server über noch ein LAN-Kabel direkt verbinden und auf dem Proxmox-Server eine neue Bridge erstellen und diese an die freie NIC binden. Dann wäre alles in Hardware gelöst und ich bräuchte keine VLANs. Das würde dann so aussehen:

Schon könnten beide VMs nicht mehr kommunizieren, da der FreeNAS-Server nicht routet. Ich habe aber leider keine freie NIC mehr, daher dachte ich mir, ich könnte das vom Bild oben auch über VLANs mit einem Trunk nachbilden, dass da beide Bridges auf dem Proxmox-Server getrennt über eine NIC mit dem FreeNAS-Server verbunden sein können. Also etwa so in der Art:


Später, wenn ich irgendwann mal 500€ über habe, dann würde ich mir auch 10Gbit NICs für beide Server holen und dazu einen 10Gbit-Managed Switch der 802.1AX und 802.1Q kann. Dann würde ich versuchen alles über VLANs zu machen, damit die gesamte Kommunikation von beiden Server nur noch über ein Trunk zum Managed Switch über die eine 10Gbit NIC läuft, anstatt über 3 Gbit NICs wie jetzt. Ich hatte mir da schon den "TP-Link T1700G-28TQ" (230€) oder "HP JL682A" (170€) als Switch ins Auge gefasst und drei gebrauchte Mellanox ConnectX3 als NICs, welche ich aber leider immer nur so je ab 60-70€ gefunden habe. Dann zwei SFP+ 1m Kupferkabel um FreeNAS und Proxmox mit dem Switch zu verbinden und ein Glasfaserkabel mit 2 SFP+ Receivern für die Verbindung vom Switch zum Arbeits-PC. Für Transceiver und Kabel wären das wohl auch noch so 100€.

Aber irgendwie muss man ja mit VLANs mal anfangen und ich dachte das wäre jetzt mal eine gute Gelegenheit zum Lernen, wenn ich so meine Isolierung zwischen den VMs mit bestehender Hardware bereits verbessern könnte.

 

[Belegnor]

Naja, das aktuelle Design hat 2 Vorteile.
Erstens sind VMs, die vom Internet erreichbar sind, in einer DMZ isoliert, was alle anderen Rechner im Intranet schützen sollte

Die VMs sind in Deinem Design eigentlich nicht isoliert, da sie ein Bein im gleichen Netz wie die VMs im Intranet. Das gleiche gilt das NAS System. Rein theoretisch sollten die VMs in der DMZ nur via Firewall mit dem NAS und die VMs im Intranet kommunizieren können. Dann könnte man sagen, dass sie isoliert sind.

Zweitens kann ich mit der Direktverbindung zum NAS mehr Bandbreite nutzen. Wenn ein Client im Intranet oder in der DMZ auf einen Dienst vom Proxmox-Server zugreift, dann hat der Client die volle Gbit Bandbreite zum Proxmox und der wiederum die volle Gbit Bandbreite zum NAS. Hätte ich die Direktverbindung zum NAS nicht, dann müsste beides über die selbe NIC laufen und die Bandbreite wäre halbiert. Praktisch für so Anwendungen wie Nextcloud oder Emby, wo die VM mit dem Dienst auf dem Proxmox-Server läuft, die eigentlichen Daten aber vom NAS geholt werden müssen.

Der Einsatz einer dedizierten Netzwerkkarte ergibt Sinn, wenn man permanent grosse Datenmengen hin und her schiebt, oder wenn man sicherstellen will, dass die volle Bandbreite für Backups und Restores reserviert ist. Auch für den Aufbau eines Clusters wäre eine dedizierte Netzwerkkarte zu empfehlen.

Bei Services wie Nextcloud oder Emby ist dies jedoch nicht nötig, da die benutzte Bandbreite beim Streaming (als Beispiel) sich in der Regel im zweistelligen "Megabit-Bereich" bewegt (zumindest soweit ich bis jetzt bei mir feststellen konnte). Nextcloud verwende ich nur, wenn ich vom Internet aus Daten lesen oder schreiben will, da ich intern eher via SMB bzw. NFS auf die Daten zugreife. Auch in diesem Fall wird die Bandbreite nicht so stark ausgelastet, dass es zu einem Engpass kommt, egal ob der Zugriff via Nextcloud oder SMB/NFS erfolgt (zumindest merke ich es in meinem Fall nicht).

Das war nur ein sehr vereinfachtes Diagramm was die Verbindung zwischen Proxmox und FreeNAS darstellen sollte. In meinem Heimnetz habe ich jetzt 6 Router und 13 Netze.

... Komplexe Netzwerke sind mittlerweile auch im Heimbereich üblich, aber sechs Router im Heimnetzwerk finde ich ein bisschen "overkill". Allerdings ich kenne Dein Heimnetz auch zu wenig, um es als sinnlos zu bezeichnen. Ich nehme an, dass Du so viele Router verwendest, weil Du zurzeit keine VLANs einsetzen kannst. Ein anderer Grund wäre die Notwendigkeit, mehrere Netzwerke in der gleichen Sicherheitszone miteinander zu verbinden, ohne dass der Verkehr über eine Firewall übertragen wird. Auf jeden Fall sollte der Einsatz von VLANs Dein Netzwerk um einiges vereinfachen, und die Anzahl benötigter Router drastisch reduzieren ...

DMZ und Intranet sind über Router und Firewalls getrennt, dass da die DMZ nichts ins Intranet kommt, das Intranet aber in die DMZ. Mir ging es da jetzt wirklich nur um die eine Direktverbindung ohne Switch zwischen NAS und Proxmox, was halt die Isolation etwas aushebelt, wenn sich beide getrennte Netze doch wieder ein drittes gemeinsames Netz teilen und dann dort doch wieder kommunizieren könnten. Deshalb wollte ich gerne, dass die DMZ ein eigenes Netz zum NAS hat und das Intranet ein eigenes Netz zum NAS, aber das beides über eine NIC. Dachte da würde sich VLAN für anbieten.

Von der Sicherheitsperspektive her sollte das NAS System kein Bein in der DMZ haben. Ich würde das NAS in der Intranet Zone lassen und die Zugriffe aus de DMZ via Firewall regeln.

Eine direkte Kabelverbindung zwischen NAS und Proxmox ist meiner Meinung nach nicht unbedingt eine gute Idee, weil Du dann ein zweites Interface brauchen würdest, um das NAS für anderen Geräten (Non-Proxmox/Non-VMs) erreichbar zu machen, sei es auf der NAS- oder an der Proxmox-Seite. Dadurch kreierst Du auch eine gewisse Abhängigkeit zwischen den beiden Komponenten, die nicht unbedingt optimal ist. Besser ist, wenn die Kommunikation zwischen den beiden Systemen über einen Switch läuft

Bei einem Cluster kann eine direkte Kabelverbindung wiederum vorteilhaft sein (z. B. für Datenreplizierung, Restores etc.), aber ich persönlich würde es auch in diesem Fall doch via Switch realisieren.

Nein, VMs und LXCs laufen ausschließlich auf dem Proxmox-Server. Auf dem FreeNAS-Server habe ich aber einen Großteil des Storages, welcher per Shares in die VMs und den Proxmox-Host selbst eingebunden wird. Auf dem FreeNAS-Server hätte ich also gerne 2 Interfaces (192.168.44.1/24 und 192.168.45.1/24) auf welchen SMB und NFS bereitgestellt werden. Und auf dem Proxmox-Host dann zwei Bridges, einmal im 192.168.44.0/24-Netz und einmal im 192.168.45.0/24-Netz, damit alle VMs an den jeweiligen Bridges auf die Shares vom NAS zugreifen können. Und die beiden Interfaces auf dem FreeNAS-Server sollten dann über einen Trunk mit den beiden Bridges auf dem Proxmox-Server verbunden werden. Und die beiden Server sind direkt per LAN-Kabel miteinander verbunden ohne Switch dazwischen.

Wie ich bereits gesagt habe, würde ich das NAS im Intranet lassen und den Zugriff aus anderen Zonen via Firewall regeln. Es vereinfacht das Design und reduziert die Komplexität.

Später, wenn ich irgendwann mal 500€ über habe, dann würde ich mir auch 10Gbit NICs für beide Server holen und dazu einen 10Gbit-Managed Switch der 802.1AX und 802.1Q kann. Dann würde ich versuchen alles über VLANs zu machen, damit die gesamte Kommunikation von beiden Server nur noch über ein Trunk zum Managed Switch über die eine 10Gbit NIC läuft, anstatt über 3 Gbit NICs wie jetzt.

Ja, Das wäre sicher der bessere und nachhaltigere Ansatz ...

Ich hatte mir da schon den "TP-Link T1700G-28TQ" (230€) oder "HP JL682A" (170€) als Switch ins Auge gefasst

Der TP-Link ist zwar teurer als der HP, aber dafür unterstützt er in Gegensatz zum HP auch IGMPv3, was für IP-TV vorteilhaft ist. Schade ist nur, dass keiner von beiden 10GE direkt unterstützen (leider nur via SFP+ Modul) ...

 

[Dunuin]

Die VMs sind in Deinem Design eigentlich nicht isoliert, da sie ein Bein im gleichen Netz wie die VMs im Intranet. Das gleiche gilt das NAS System. Rein theoretisch sollten die VMs in der DMZ nur via Firewall mit dem NAS und die VMs im Intranet kommunizieren können. Dann könnte man sagen, dass sie isoliert sind.

Ja, das meine ich ja. Daher die Idee mit den VLANs, dass da beide Netzte nicht mehr gemeinsam im 192.168.45.0/24-Netz hängen.

Der Einsatz einer dedizierten Netzwerkkarte ergibt Sinn, wenn man permanent grosse Datenmengen hin und her schiebt, oder wenn man sicherstellen will, dass die volle Bandbreite für Backups und Restores reserviert ist. Auch für den Aufbau eines Clusters wäre eine dedizierte Netzwerkkarte zu empfehlen.
Bei Services wie Nextcloud oder Emby ist dies jedoch nicht nötig, da die benutzte Bandbreite beim Streaming (als Beispiel) sich in der Regel im zweistelligen "Megabit-Bereich" bewegt (zumindest soweit ich bis jetzt bei mir feststellen konnte). Nextcloud verwende ich nur, wenn ich vom Internet aus Daten lesen oder schreiben will, da ich intern eher via SMB bzw. NFS auf die Daten zugreife. Auch in diesem Fall wird die Bandbreite nicht so stark ausgelastet, dass es zu einem Engpass kommt, egal ob der Zugriff via Nextcloud oder SMB/NFS erfolgt (zumindest merke ich es in meinem Fall nicht).

Die Bandbreite ist hier regelmäßig voll ausgelastet, wenn Proxmox z.B. anfängt Backups auf die Shares vom NAS zu speichern. Da fand ich es dann gut, wenn die Dienste von den VMs wenigstens noch Bandbreite in die DMZ bzw das Intranet haben. Auch stellt das NAS dem Intranet die Shares direkt über eine weitere Netzwerkkarte zu Verfügung. So können meine anderen Rechner in Intranet dann immer noch das NAS nutzen, auch wenn Proxmox gerade hunderte von GB an Backups auf das NAS schreibt. Und ein Backup-NAS habe ich z.B. auch noch im Intranet. Wenn da dann die Replizierung zwischen Backup-NAS und Haupt-NAS läuft, dann würden alle Dienste auf den VMs vom Hypervisor zum erliegen kommen, wenn da keine eigene Verbindung zwischen Haupt-NAS und Proxmox existieren würde.

... Komplexe Netzwerke sind mittlerweile auch im Heimbereich üblich, aber sechs Router im Heimnetzwerk finde ich ein bisschen "overkill". Allerdings ich kenne Dein Heimnetz auch zu wenig, um es als sinnlos zu bezeichnen. Ich nehme an, dass Du so viele Router verwendest, weil Du zurzeit keine VLANs einsetzen kannst. Ein anderer Grund wäre die Notwendigkeit, mehrere Netzwerke in der gleichen Sicherheitszone miteinander zu verbinden, ohne dass der Verkehr über eine Firewall übertragen wird. Auf jeden Fall sollte der Einsatz von VLANs Dein Netzwerk um einiges vereinfachen, und die Anzahl benötigter Router drastisch reduzieren ...

Ja, mit VLANs wäre es deutlich einfacher. Ohne VLANs war das hier bisher nicht anders zu lösen.
Ich habe hier ziemlich viele Spezialfälle. Z.B. steht das Backup-NAS im Keller für etwas mehr "Offsite-Sicherheit" aber der Vermieter erlaubt es mir nicht ein Loch in den Boden zu bohren, damit ich ein LAN-Kabel in den Keller legen könnte. Da hängt das Backup-NAS dann z.B. an einem eigenen Router, der als Wifi-Brücke zwischen der Wohnung und dem Keller dient, da FreeNAS keinerlei WLAN unterstützt und sich nur per Ethernet anbinden lässt. Dann habe ich 2 Gateways ins Internet usw. Das ließ sich hier alles bisher nur über viele OpenWRT-Router lösen.
Bin jetzt gerade dabei und habe 2 OPNsense-VMs aufgesetzt, damit ich ein paar von den alten Router ersetzen kann. Der Proxmox-Server hat jetzt deshalb 8x 1Gbit NICs.

Von der Sicherheitsperspektive her sollte das NAS System kein Bein in der DMZ haben. Ich würde das NAS in der Intranet Zone lassen und die Zugriffe aus de DMZ via Firewall regeln.

Eine direkte Kabelverbindung zwischen NAS und Proxmox ist meiner Meinung nach nicht unbedingt eine gute Idee, weil Du dann ein zweites Interface brauchen würdest, um das NAS für anderen Geräten (Non-Proxmox/Non-VMs) erreichbar zu machen, sei es auf der NAS- oder an der Proxmox-Seite. Dadurch kreierst Du auch eine gewisse Abhängigkeit zwischen den beiden Komponenten, die nicht unbedingt optimal ist. Besser ist, wenn die Kommunikation zwischen den beiden Systemen über einen Switch läuft

Wie genau meinst du das mit der Abhängigkeit? Aktuell hängen Proxmox und FreeNAS-Server ja mit je einem eigenen Interface in der DMZ, dem Intranet und das letzte dann für die Verbindung von FreeNAS zum Proxmox. So habe ich halt 3x 1Gbit die ich nutzen kann und der Uplink zum Switch ist nicht so schnell ausgelastet. Gerade bei der Verbindung von FreeNAS zum Proxmox, FreeNAS zum Backup-NAS und ArbeitsPC zu FreeNAS habe ich regelmäßig Transfers die über Stunden mit 115MB/s die komplette Bandbreite auslasten. Da fand ich es dann gut, wenn da nicht das ganze Netzwerk zum erliegen kommt, wenn da auf einem Netzwerk-Segment mal viel los ist.
Hätte ich 10Gbit und könnte der Switch mit VLANs/Link Aggregation/QoS umgehen, dann wäre das sicher auch schöner lösbar.

Der TP-Link ist zwar teurer als der HP, aber dafür unterstützt er in Gegensatz zum HP auch IGMPv3, was für IP-TV vorteilhaft ist. Schade ist nur, dass keiner von beiden 10GE direkt unterstützen (leider nur via SFP+ Modul) ...

Mit 10GE wäre wohl leider alles noch viel teurer. Sowohl der Router als auch die NICs.
Eigentlich müsste ich mir erst einmal einen neuen Gaming/Arbeitsrechner zulegen. Die olle Gurke läuft noch mit Mainboard/CPU/RAM von 2009.
Ich werde hier schon im Bekanntenkreis doof angeguckt, weil die letzten Anschaffungen die 3 Server waren, welche alle schneller sind als mein Hauptrechner daheim.

 

[Belegnor]

Wie genau meinst du das mit der Abhängigkeit?

Vielleicht war die Formulierung nicht ganz korrekt. Für die Verwirrung entschuldige ich mich ...

Mit der Abhängigkeit war das Szenario gemeint, in dem die beiden Systemen mit einer Trunk-Konfiguration direkt verbunden sind (nur ein Interface). In solch einem Fall wären alle Geräte vom Proxmox Server abhängig, um das NAS system erreichen zu können, oder man müsste zusätzliche NICs einsetzen. Aus dem Grund habe ich gesagt, dass es besser wäre keine direkte Verbindungen zu verwenden, sondern die Kommunikation über ein Switch laufen zu lassen. Auf diese weise ist das NAS System für jedes System in der gleichen Sicherheitszone erreichbar, ohne separate Netze dafür konfigurieren zu müssen.