Verständnis Frage zu 10GB Netzwerk und Proxmox, VMs und CTs

Master67 · Oct 20, 2021

Eigentlich sollte ich das nicht "mehr" Fragen, da ich die Netzwerkkarten schon über ein Jahr Betreibe, aber damit Ihr mir folgen könnt muss ich mit der "Installation"
Anfangen.
Für mich als "Normaler" PC User war es trotz Guter Anleitung hier echt schwer meine zwei 10GB Netzwerkkarten "Durchzureichen", (ich betreibe einen kleinen Cluster aus zwei PCs (naja einer ist mehr Server als PC), auf PVE1 laufen auch alle VMs und CTs über die 10GB, bei PVE2 nur der Host selber, alle anderen Maschinen sind nicht erreichbar, wenn ich die 10GB Netzwerkkarte Aktiviere, warum keine Ahnung die Einstellungen sind die gleichen.

Lassen wir mal PVE2 außen vor, schiebe ich nun Daten auf eine CT oder VM auf PVE1 werden max. 110Mbits/S erreicht, mir ist klar das das auch den verbauten Platten geschuldet ist, aber selbst auf einer verbauten SSD WIRD es nicht schneller, ich betriebe kein Raid und kein ZFS, dennoch dachte ich so (bei den neueren HDDs/SSDs) sollte auch auch ein bisschen mehr Speed dahinter sein (200Mbits/s)?... Das Netzwerk (jedenfalls bei PVe1) sollte das locker schaffen!

Gibt es eine Möglichkeit den Speed etwas zu erhöhen... ich dachte schon an einen Cache, aber so wie ich es hier gelesen habe.. ähm... wäre das für mich eine "extreme" Aufgabe die ich nicht so leicht Bewältigen kann!
Klar.... mir wäre eine Antwort lieber wie "mach eine SSD als Cache in den Server rein"... aber ich glaube das ist Wunschdenken bei Proxmox

... für mich!

Für mich gibt es z.Zt. keine Möglichkeiten die Daten "auszusiedeln" um z.b aus den Platten dann ein ZFS zu machen, ein Raid kommt auch nicht wirklich in Frage da ich durch einen Raid Speicherplatz verliere den ich Benötige!

Ich weis, ich limitiere mit meinen Beschränkungen die mögliche Lösung, ein Vorschlag war ich sollte zu Unraid wechseln, will ich aber nicht!... denn bis auf den Netzwerkspeed (und das liegt wahrscheinlich nur an meinen Einstellungen) bin ich sehr zufrieden mit Proxmox .

Eines noch.... warum komme ich jetzt (nach mehr als einem Jahr damit), weil ich seit 1 Monta wieder einen Desktop PC habe (vorher Lenovo T430) und da dann gleich eine 10GB Karte mit Glasfaserleitung (oder sagt man nicht Lichtleitung) eingebaut habe und die Leitung geht in den Keller zu den PVEs und jetzt merke ich natürlich die "Langsamkeit"......

P.S. Natürlich wäre es auch schön zu wissen warum der PVE2 als Host auf der 10GB läuft, die CTs und VMs aber nicht....!

Gruß Olaf

Dunuin · Oct 20, 2021

Master67 said:
Eigentlich sollte ich das nicht "mehr" Fragen, da ich die Netzwerkkarten schon über ein Jahr Betreibe, aber damit Ihr mir folgen könnt muss ich mit der "Installation"
Anfangen.
Für mich als "Normaler" PC User war es trotz Guter Anleitung hier echt schwer meine zwei 10GB Netzwerkkarten "Durchzureichen", (ich betreibe einen kleinen Cluster aus zwei PCs (naja einer ist mehr Server als PC), auf PVE1 laufen auch alle VMs und CTs über die 10GB, bei PVE2 nur der Host selber, alle anderen Maschinen sind nicht erreichbar, wenn ich die 10GB Netzwerkkarte Aktiviere, warum keine Ahnung die Einstellungen sind die gleichen.

Wie sehen denn deine Netzwerk-Konfigurationen aus (cat /etc/network/interfaces)?

Master67 said:
Lassen wir mal PVE2 außen vor, schiebe ich nun Daten auf eine CT oder VM auf PVE1 werden max. 110Mbits/S erreicht, mir ist klar das das auch den verbauten Platten geschuldet ist, aber selbst auf einer verbauten SSD WIRD es nicht schneller, ich betriebe kein Raid und kein ZFS, dennoch dachte ich so (bei den neueren HDDs/SSDs) sollte auch auch ein bisschen mehr Speed dahinter sein (200Mbits/s)?... Das Netzwerk (jedenfalls bei PVe1) sollte das locker schaffen!

Ich vermute du meinst MB/s und nicht Mbit/s?

Master67 said:
Gibt es eine Möglichkeit den Speed etwas zu erhöhen... ich dachte schon an einen Cache, aber so wie ich es hier gelesen habe.. ähm... wäre das für mich eine "extreme" Aufgabe die ich nicht so leicht Bewältigen kann!
Klar.... mir wäre eine Antwort lieber wie "mach eine SSD als Cache in den Server rein"... aber ich glaube das ist Wunschdenken bei Proxmox ... für mich!

Erstmal solltest du gucken was denn der Flaschenhals ist. Mit dem Programm iperf3 könntest du z.B. die Netzwerk-Performance überprüfen. Das schreibt die Daten von RAM über Netzwerk zu RAM, da sind also die Laufwerke dann nicht der Flaschenhals. Die Laufwerke könntest du z.B. mit dem Programm fio benchmarken. Pass bei Fio nur auf das du als Datei auch wirklich nur eine Datei auf deinem Dateisystem auswählst und nicht ein Laufwerk direkt angiebst (/dev/...) weil du dir sonst die vorhandenen Daten auf dem Laufwerk zerstörst. Da tippen leider Leute viel zu oft was aus dem Internet ab und wundern sich, warum all ihre Daten weg sind...

Master67 said:
Für mich gibt es z.Zt. keine Möglichkeiten die Daten "auszusiedeln" um z.b aus den Platten dann ein ZFS zu machen, ein Raid kommt auch nicht wirklich in Frage da ich durch einen Raid Speicherplatz verliere den ich Benötige!

Raid hat aber auch seine Vorzüge. Mir fällt immer mal wieder eine SSD/HDD aus (letzte erst letzte Woche) und da ist es schon sehr nett, wenn da einfach alles unbemerkt weiterläuft ohne einen einzuschränken oder irgendwie Daten zu verlieren. Und wenn du Raid mit ZFS nutzt, dann kann ZFS sogar schleichenden Dateiverfall erkennen und reparieren und deine Daten gehen mit der Zeit nicht kaputt. Klar kostet das alles mehr Platz und damit mehr Geld, aber wenigstens muss man sich nicht mehr mit Datenverlust oder Datenbeschädigung herumschlagen und kann sich auf seine Daten verlassen. Backup sollte man natürlich trotzdem noch haben, aber dann kann man sich wenigstens sicher sein, dass da die Daten nicht schon unbemerkt kaputt sind, bevor man sie ins Backup schreibt.

Master67 said:
P.S. Natürlich wäre es auch schön zu wissen warum der PVE2 als Host auf der 10GB läuft, die CTs und VMs aber nicht....!

Ich tippe mal du hast da gleichzeitig 1Gbit und 10Gbit angeschlossen. Ein Host sollte nicht 2 Netzwerkkarten im selben Subnetz haben, weil dann nicht klar ist, welche von beiden er denn nun nehmen soll um andere Hosts im Subnetz zu erreichen. Ich vermute mal du hast da beide NICs dem selben Subnetz hinzugefügt. Müsstest du wie gesagt mal die /etc/network/interfaces von allen PVE hosts zeigen.

Master67 · Oct 20, 2021

Dunuin said:
Wie sehen denn deine Netzwerk-Konfigurationen aus (cat /etc/network/interfaces)?

Das ist der PVE1 - vmbr1 und vmbr3 waren mal für ipfire, jetzt sind sie ohne Funktion!

Code:

auto lo
iface lo inet loopback

auto enp9s0f0
iface enp9s0f0 inet manual

auto enp10s0
iface enp10s0 inet manual

auto enp4s0
iface enp4s0 inet manual
        mtu 9000

auto vmbr0
iface vmbr0 inet static
        address 192.168.178.92/24
        gateway 192.168.178.1
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet static
        address 192.168.178.206/24
        bridge-ports enp9s0f0
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet static
        address 192.168.178.209/24
        bridge-ports enp10s0
        bridge-stp off
        bridge-fd 0

Das ist der PVE2 der auf dem die 10GB nicht mit den VMs und CTs läuft.

Code:

auto lo
iface lo inet loopback

auto enp6s0
iface enp6s0 inet manual

auto enp3s0
iface enp3s0 inet manual

auto enp1s0
iface enp1s0 inet manual
        mtu 9000

auto vmbr0
iface vmbr0 inet static
        address 192.168.178.28/24
        gateway 192.168.178.1
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp3s0
        bridge-stp off
        bridge-fd 0

auto vmbr2
iface vmbr2 inet manual
        bridge-ports enp6s0
        bridge-stp off
        bridge-fd 0

Dunuin said:
Ich vermute du meinst MB/s und nicht Mbit/s?

Japp ;-)

Dunuin said:
Mit dem Programm iperf3 könntest du z.B.

Werde ich mir einmal anschauen.

Dunuin said:
Raid hat aber auch seine Vorzüge.

Ich weiß, aber der PVE1 Server ist auf 2TB Platten beschränkt und viele gehen da auch nicht rein, PVE2 hat damit (wohl weil mehr PC als Server) keine Probleme damit, der ist aber auch schon voll, dort läuft eine VM die die Platten an eine CT auf PVE1 durchleitet weil PVE1 ja in der Größe der HDDs beschränkt ist.
Einen Raid würde ich heute bauen auch ein ZFS, aber geht halt nicht.... ich könnte ggf. ein NAS Bauen mit einer 10TB Platte und so einen Teil der PVE1 u. PVE2 Platen leeren und Umbauen, ist aber sehr Zeitaufwendig und ich weiß nicht ob nötig!

Dunuin said:
Ich tippe mal du hast da gleichzeitig 1Gbit und 10Gbit angeschlossen.

ja und Nein.... siehe oben PVE1 wegen ipFire, aber hier machten die VMs und CTs keine Probleme, bei PVE2 schon, selbst wenn ich die Netzwerkkabel wirklich entferne laufen die Maschinen nicht mit dem 10GB NIC, deshalb laufen die auf PVE2 auch auf den 1GB Nic, weil sonst nicht erreichbar....

Dunuin · Oct 20, 2021

Master67 said:

Das ist der PVE1 - vmbr1 und vmbr3 waren mal für ipfire, jetzt sind sie ohne Funktion!

Code:

auto lo
iface lo inet loopback

auto enp9s0f0
iface enp9s0f0 inet manual

auto enp10s0
iface enp10s0 inet manual

auto enp4s0
iface enp4s0 inet manual
        mtu 9000

auto vmbr0
iface vmbr0 inet static
        address 192.168.178.92/24
        gateway 192.168.178.1
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet static
        address 192.168.178.206/24
        bridge-ports enp9s0f0
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet static
        address 192.168.178.209/24
        bridge-ports enp10s0
        bridge-stp off
        bridge-fd 0

vmbr1 und vmbr3 solltest du die IPs wegnehmen. Ein Host sollte wie gesagt nicht mehr als eine IP pro Subnetz haben und dein PVE1-Host hat jetzt sogar drei. Ich vermute mal enp4s0 ist deine SFP+ NIC? Mit der MTU von 9000 (Jumboframes) musst du aufpassen. Wenn du das nutzen willst sollte alles an Hardware Jumboframes unterstützten, also auch der Switch etc.

Master67 said:

Das ist der PVE2 der auf dem die 10GB nicht mit den VMs und CTs läuft.

Code:

auto lo
iface lo inet loopback

auto enp6s0
iface enp6s0 inet manual

auto enp3s0
iface enp3s0 inet manual

auto enp1s0
iface enp1s0 inet manual
        mtu 9000

auto vmbr0
iface vmbr0 inet static
        address 192.168.178.28/24
        gateway 192.168.178.1
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp3s0
        bridge-stp off
        bridge-fd 0

auto vmbr2
iface vmbr2 inet manual
        bridge-ports enp6s0
        bridge-stp off
        bridge-fd 0

Das sieht jetzt für mich soweit ok aus, sofern denn bei dir switch und Co mit Jumboframes umgehen können.
VMs hängen auch alle an vmbr0 und nicht an vmbr1 oder vmbr2? Nur wenn VMs an vmbr0 hängen nutzen die auch die 10Gbit NIC, sofern da enp1s0 deine 10 Gbit NIC ist, wovon ich mal ausgehe, weil du der jumboframes verpasst hast.

Hängen die 10 Gbit NICs denn an einem 10 Gbit switch? Du meinstest ja glaube ich du hättest dir nun ein dritte 10 Gbit NIC geholt. Und falls ja, kümmert sich der Switch sowohl um die 1Gbit als auch die 10Gbit Ports oder hast du da getrennte Geräte?

Ich persönlich würde mir da mindestens 2 getrennte Netze machen. So habe ich das auch hier daheim mit meinen 1Gbit und 10Gbit NICs gehandhabt. Einmal das 10Gbit Netz (z.B. auf 192.168.179.0/24) als Storage Backend mit 9000 MTU was rein für die schnelle Datenübertragung von deinen Netzwerk-Shares ist (also NFS/SMB/iSCSI/FTP/Rsync/PBS etc) und nicht geroutet wird (sprich kein Zugang zum Internet oder in dein normales 192.168.178.0/24 LAN). Und dann dein normales LAN (192.168.178.0/24) über die 1Gbit NICs mit 1500 MTU wo dann auch dein Router drin sitzt für Internet Zugriff und alles sonstige an Diensten. Und solltest du auch Netzwerk-Shares von anderen Geräten im 1Gbit LAN nutzen wollen, dann könntest du deinem NAS zusätzlich zur IP im 192.168.179.0/24 Netz auch noch eine IP im 192.168.178.0/24 Netz geben und dem NFS/SMB-Server sagen er soll die Shares auf beiden IPs bereitstellen.

So ein getrenntes Storage Backend hat verschiedene Vorteile. Zum einen bremsen große Datentransfers wie Backups von ganzen Festplatten über das 10Gbit Netz nicht dein 1Gbit Netz aus, dass du da weniger Störungen und Latenzen bei zeitkritischen Anwendungen wie VoIP, Online Gaming, Videokonferenzen und Co hast. Zum anderen kannst du 1500 MTU und 9000 MTU besser trennen weil das dann einheitlich pro Netz ist und du weniger Probleme hast mit Paketen die nicht zugestellt werden können. Weil ein 9000 MTU Paket kann nicht direkt von einer NIC empfangen werden die mit weniger als 9000 MTU läuft.

Master67 · Oct 20, 2021

Dunuin said:
vmbr1 und vmbr3 solltest du die IPs wegnehmen. Ein Host sollte wie gesagt nicht mehr als eine IP pro Subnetz haben und dein PVE1-Host hat jetzt sogar drei. Ich vermute mal enp4s0 ist deine SFP+ NIC? Mit der MTU von 9000 (Jumboframes) musst du aufpassen. Wenn du das nutzen willst sollte alles an Hardware Jumboframes unterstützten, also auch der Switch etc.

Okay das habe ich gemacht..... die Jumboframes sollten passen (ist SFP+) ich nutze für die 10GB einem MikroTik 10GB Router/Switch, 4x10Gb und 1x1GB fürs Internet.

Dunuin said:
Das sieht jetzt für mich soweit ok aus, sofern denn bei dir switch und Co mit Jumboframes umgehen können.
VMs hängen auch alle an vmbr0 und nicht an vmbr1 oder vmbr2? Nur wenn VMs an vmbr0 hängen nutzen die auch die 10Gbit NIC, sofern da enp1s0 deine 10 Gbit NIC ist, wovon ich mal ausgehe, weil du der jumboframes verpasst hast.

Und das ist das "Sorgen Kind" der PVE2, hier läuft nur der Host über die 10GB Karte, die VMs und CTs über vmbr1 und zwar alle!
Ändere ich das kann ich nicht mehr auf die VMs und CTs zugreifen.... ich versuch das jetzt noch mal und Melde mich dann mit dem Fehler bzw. wie dieser sich darstellt!

Dunuin said:
Ich persönlich würde mir da mindestens 2 getrennte Netze machen.

Ich auch, unter Windows, bevor ich Proxmox installiert habe sind die 10GB Karten so gelaufen, IP 10.10.10.1 und 10.10.10.2 und das hat mit einer RamDisk voll rausgehauen ich glaube sowas um die 700MB/s.... Nur unter Proxmox bekommen ich das mit den getrennten Netzwerken einfach nicht hin, hier scheint es reicht wohl nicht nur die Ip in Proxmox zu ändern oder?

Dunuin · Oct 20, 2021

Master67 said:
Ich auch, unter Windows, bevor ich Proxmox installiert habe sind die 10GB Karten so gelaufen, IP 10.10.10.1 und 10.10.10.2 und das hat mit einer RamDisk voll rausgehauen ich glaube sowas um die 700MB/s.... Nur unter Proxmox bekommen ich das mit den getrennten Netzwerken einfach nicht hin, hier scheint es reicht wohl nicht nur die Ip in Proxmox zu ändern oder?

10.10.10.1/24 + 10.10.10.2/24 sind nicht zwei getrennte Netze, sondern zwei IPs im selben Netz was man wie gesagt nicht machen sollte. Zwei Netze wären es, wenn dein PVE2 z.B. die IPs 10.10.10.2/24 + 10.10.11.2/24 nutzen würde (also 10.10.10.1 bis 10.10.10.255 für 1Gbit + 10.10.11.1 bis 10.10.11.255 für 10 Gbit). Ich würde da wie gesagt dann z.B. den Mikrotik ausschließlich für 10Gbit z.B. im 192.168.179.0/24 Netz nutzen und einen anderen 1Gbit Switch im 192.168.178.0/24 Netz für alles was 1Gbit NICs hat. Den 1Gbit Port am MikroTik würde ich höchstens als Management-Interface und für Software-Updates des MikroTiks nutzen.

Master67 · Oct 20, 2021

Edit: ich habe unter dem PVE2 jetzt mal einen CT auf die 10GB Umgestellt, über die IP ist der Drucker Server nicht mehr zu erreichen eine IP Abfrage ergibt das (die IP ist noch die Richtige)

Code:

root@Drucker:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0@if39: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 56:f1:b7:bf:b4:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.178.110/24 brd 192.168.178.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::54f1:b7ff:febf:b442/64 scope link
       valid_lft forever preferred_lft forever

Master67 · Oct 20, 2021

Dunuin said:
10.10.10.1/24 + 10.10.10.2/24 sind nicht zwei getrennte Netze, sondern zwei IPs im selben Netz was man wie gesagt nicht machen sollte. Zwei Netze wären es, wenn dein PVE2 z.B. die IPs 10.10.10.2/24 + 10.10.11.2/24 nutzen würde (also 10.10.10.1 bis 10.10.10.255 für 1Gbit + 10.10.11.1 bis 10.10.11.255 für 10 Gbit). Ich würde da wie gesagt dann z.B. den Mikrotik ausschließlich für 10Gbit z.B. im 192.168.179.0/24 Netz nutzen und einen anderen 1Gbit Switch im 192.168.178.0/24 Netz für alles was 1Gbit NICs hat. Den 1Gbit Port am MikroTik würde ich höchstens als Management-Interface und für Software-Updates des MikroTiks nutzen.

Da habe ich mich falsch ausgedrückt unter Windows war das "Internet"-Netzwerk 192.168.178.0 und das 10GB Netzwerk 10.10.10.0
Und so dachte ich geht das auch in Proxmox... also die 10GB auf alles außer 192.168.178.0, weil das kann oder sollte eine der 1GB Nics übernehmen, schneller komme ich sowieso nicht ins Internet.
Und ja der 1GB Nic sollte nur für Updates usw......
Irgendwo habe ich eine Denkfehler

Master67 · Oct 20, 2021

Ich versuche das mal für mich darzustellen, also PVE1 hier die 10GB auf z.B. 10.10.10.1 stellen und eine der 1GB Nic auf 192.168.178.xx und Gateway des FB Routers, das dann so auch auf dem PVE2?...
Die CTs und VMs die 10GB Netzwerkkarte zuweisen auf beiden PVEs... wäre das soweit Richtig?

Dunuin · Oct 20, 2021

Master67 said:
Ich versuche das mal für mich darzustellen, also PVE1 hier die 10GB auf z.B. 10.10.10.1 stellen und eine der 1GB Nic auf 192.168.178.xx und Gateway des FB Routers, das dann so auch auf dem PVE2?...

Genau.

Master67 said:
Die CTs und VMs die 10GB Netzwerkkarte zuweisen auf beiden PVEs... wäre das soweit Richtig?

Nein, nicht jede VM/LXC sollte die 10 Gbit NIC nutzen. So ziemlich jeder VM/LXC würde ich eine virtuelle NIC an der bridge verpassen die an der 1 Gbit NIC hängt und diese NIC würde ich dann auch für alle VMs/LXCs als Gateway und DNS nutzen. Allem was intern große Datenmengen schaufeln muss (deinem Printserver LXC würden die 10Gbit kaum etwas nutzen) würde ich dann eine zweite virtuelle NIC verpassen, diese auf 9000 MTU setzen und mit der Bridge verbinden an der die 10 Gbit NIC hängt.

Das 10Gbit Netz ersetzt da nicht das 1 Gbit Netz sondern ergänzt dieses nur. Das meiste wie Internet und Co läuft dann weiterhin ausschließlich über das 1 Gbit Netz aber alle Hosts/LXCs/VM mit einer 10 Gbit NIC können dann halt zusätzlich ganz schnell per NFS, SMB und Co Daten transferieren.

Master67 · Oct 20, 2021

Dunuin said:
Nein, nicht jede VM/LXC sollte die 10 Gbit NIC nutzen. So ziemlich jeder VM/LXC würde ich eine virtuelle NIC an der bridge verpassen die an der 1 Gbit NIC hängt und diese NIC würde ich dann auch für alle VMs/LXCs als Gateway und DNS nutzen. Allem was intern große Datenmengen schaufeln muss (deinem Printserver LXC würden die 10Gbit kaum etwas nutzen) würde ich dann eine zweite virtuelle NIC verpassen, diese auf 9000 MTU setzen und mit der Bridge verbinden an der die 10 Gbit NIC hängt.

Puh.... jetzt wird es für mich schwierig dir zu folgen, ich dachte immer vmbr0 ist die Brücke zu enp1s0 (10gb) und vmbr1 ist die brücke zu enp3s0 (1gb Nic)... was ist den nun ein virtueller Nic und wie Erstelle ich den?

Dunuin · Oct 20, 2021

Virtuelle NICs sind die NICs die von PVE für jede VM/LXC erstellt werden. Deine Gäste brauchen ja auch ihre NICs um sich mit den Bridges zu verbinden (wie deine eth0 z.B um Drucker LXC)

Master67 · Oct 20, 2021

Die sind alle gleich.... ID: net0 / Name: eth0 / Bridge: vmbr0 .......
Ich stehe voll auf dem Schlauch ;-)

Dunuin · Oct 20, 2021

Master67 said:
Die sind alle gleich.... ID: net0 / Name: eth0 / Bridge: vmbr0 .......
Ich stehe voll auf dem Schlauch ;-)

Aber hindert dich ja nichts daran jeweils noch eine net1 / eth1 zusätzlich hinzuzufügen damit der LXC/VM noch eine zusätzliche NIC mit eigener IP im 10.10.10.0/24 10Gbit Netz hat.

Dann können die VMs/LXCs selbst entscheiden,ob sie das 10Gbit oder 1Gbit Netz nehmen wollen. Sagen wir du hast z.B. folgendes Szenario:

Host PVE1 und PVE2 haben beide eine vmbr0 Bridge die mit einer der 1Gbit NICs verbunden ist und diese Bridges haben die IPs 192.168.178.100/24 bzw 192.168.178.101/24 und bei beiden vmbr0 ist deine Fritzbox als Gateway und DNS eingetragen (also 192.168.178.1).

Dann haben beide hosts noch eine zweite Bridge vmbr1 die mit den 10 Gbit NICs verbunden sind. Diese haben die IPs 10.10.10.100/24 bzw 10.10.10.101/24 und weder DNS noch Gateway.

Möchte PVE1 nun mit PVE2 über 10 Gbit kommunizieren stellt PVE1 eine Anfrage von 10.10.10.100 an 10.10.10.101.

Möchte PVE1 aber eine Anfrage über 1Gbit machen, dann sendet man stattdessen von 192.168.178.100 an 192.168.178.101.

Das gleiche bei den Gästen. Die können dann entweder nur eine virtuelle NIC haben die entweder an vmbr0 oder vmbr1 hängt (können dann aber auch nur über das 1 Gbit ODER das 10 Gbit Netz erreicht werden) oder du gibst dem Gast ebenfalls zwei virtuelle NICs mit je einer IP im 10 Gbit und 1 Gbit Netz, dann können die Gäste ebenfalls über die IP entscheiden wie sie sich mit wem verbinden wollen.

Dann kannst du für alle Dienste selbst entscheiden ob sie auf die IP im 1 Gbit Netz, die IP im 10 Gbit Netz ider auf beide IPs hören sollen. So kannst du dann entscheiden welche Dienste in welchem Netz verfügbar sein sollen.

Normal möchte man dann alle regulären Dienste im 1 Gbit Netz haben (nur dieses hat Zugang zum Internet und anderen Hosts die keine 10 Gbit NIC besitzen) und Dienste die viele Daten übertragen müssen (also NFS/SMB) lässt man zusätzlich noch im 10Gbit Netz arbeiten, damit Hosts, welche zusätzlich über eine 10Gbit verfügen diese schneller nutzen können und mit großen Datentransfers das 1 Gbit Netz entlasten.
SMB/NFS würde man dann z.B. in beiden Netzen bereitstellen, dass da die Hosts/Gäste mit einer 10 Gbit NIC den SMB/NFS Share schnell über die IP im 10 Gbit Netz erreichen können aber keine anderen Host ohne 10Gbit NIC von SMB/NFS ausgeschlossen sind, weil diese als alternative trotzdem noch über das 1 Gbit Netz an die SMB/NFS Shares kommen.

10 Gbit Switch und 1 Gbit Switch sollten dann übrigens nicht miteinander verbunden sein, damit das keine Schleifen erzeugt und die Pakete nicht endlos im Kreis geschickt werden.

Master67 · Oct 20, 2021

Okay.... soweit habe ich das Verstanden, ich bin nun wie folgt vorgegangen:
PVE1 und 2 10GB Nic auf die 10.10.10.100 +X gesetzt und einen 1GB Nic mit den vorhanden IPs eingetragen (192.xx.xx.92 und xx.28) + Gateway usw.
Ach und vom 10GB Router habe ich das "Internet" Kabel entfernt wusste mir nicht anders zu Helfen um die Schleife zu verhindern....

Den VMs und CTs die beides nutzen sollten habe ich 2 Nic zu gewissen 1GB im 192er und 10GB im 10er Netz... bin ich da auf dem Richtigen weg?
Und noch eine Frage, wie mache ich das bei meinem Desktop PC? ich muss ja eine Subnetzmaske angeben, bleibt die bei 255.255.255.0?.... den der 10GB Karte wollte ich auch eine 10er IP geben...

Master67 · Oct 20, 2021

Ich glaube das wird nix..... die 10GB Nics werden nicht "zuerst" Ausgewählt, immer die 1GB Nics, damit bleibt es bei knapp 110MB/s

Danke für deine Hilfe, naja.... dann bleibt alles so.. ggf. schaue ich mir doch mal Unraid an, das soll leichter sein, ist irgendwie Doof wenn man 10GB NICs hat und man kann sie nicht nutzen.

Danke dir noch mal für deine Zeit....

Dunuin · Oct 20, 2021

Master67 said:
Okay.... soweit habe ich das Verstanden, ich bin nun wie folgt vorgegangen:
PVE1 und 2 10GB Nic auf die 10.10.10.100 +X gesetzt und einen 1GB Nic mit den vorhanden IPs eingetragen (192.xx.xx.92 und xx.28) + Gateway usw.
Ach und vom 10GB Router habe ich das "Internet" Kabel entfernt wusste mir nicht anders zu Helfen um die Schleife zu verhindern....

Den VMs und CTs die beides nutzen sollten habe ich 2 Nic zu gewissen 1GB im 192er und 10GB im 10er Netz... bin ich da auf dem Richtigen weg?
Und noch eine Frage, wie mache ich das bei meinem Desktop PC? ich muss ja eine Subnetzmaske angeben, bleibt die bei 255.255.255.0?.... den der 10GB Karte wollte ich auch eine 10er IP geben...

Genau. Subnetzmaske "255.255.255.0" ist das gleiche wie die CIDR "/24".

Master67 said:
Ich glaube das wird nix..... die 10GB Nics werden nicht "zuerst" Ausgewählt, immer die 1GB Nics, damit bleibt es bei knapp 110MB/s

Danke für deine Hilfe, naja.... dann bleibt alles so.. ggf. schaue ich mir doch mal Unraid an, das soll leichter sein, ist irgendwie Doof wenn man 10GB NICs hat und man kann sie nicht nutzen.

Danke dir noch mal für deine Zeit....

Da wird nichts automatisch oder "zuerst" ausgewählt. Was wer wie nutzt musst du überall manuell selbst bestimmen indem du entweder IPs im 10 Gbit Netz nutzt oder IPs im 1 Gbit Netz. Wenn du in keinem deiner LXCs/VMs etwas verändert hast werden da alle Dienste auch weiterhin auf der alten IP im 1 Gbit Netz laufen. Da musst du schon alle Dienste in allen VMs/LXCs so konfigurieren, das die auch das neue 10 Gbit Netz nutzen. Und alle Hosts/LXC/VMs die auf entsprechende Dienste zugreifen wollen dürfen das dann nicht mehr über die alten IPs im 1 Gbit Netz sondern die müssen das über die neuen IPs im 10 Gbit Netz tun, wenn sie 10 statt 1 Gbit nutzen wollen. Dann läuft das auch über 10 Gbit.

Master67 · Oct 20, 2021

Dunuin said:
Wenn du in keinem deiner LXCs/VMs etwas verändert hast werden da alle Dienste auch weiterhin auf der alten IP im 1 Gbit Netz laufen.

Aber das habe ich doch... die VMs und CTs haben jetzt (fast) alle eine zweite 10GB Nic mit der IP 10.10.10.10x........., ggf. muss ich noch mal mein Windows Prüfen, da ich ja 90% der Daten von meinem Desktop PC zu Proxmox versendet.
Ich versuche das mal rauszubekommen wo der "Knoten" ist....

Master67 · Oct 20, 2021

Also mit den "Einstellungen" Verschlimmere ich es nur, ich habe im PVE1 zwei HDDs die ich per FileZilla ansprechen kann, mit den Einstellungen habe ich eine Übertragung von 10MB/S... ändere ich alles zurück wieder 110MB/S
Keine Ahnung wo da der Wurm drin ist, soll er halt den Apfel Essen, ich kanns mit meinem Verständnis für Netzwerke nicht ändern bzw. lösen.. und 110MB/S sind alle mal besser wie 10MB/S

Dunuin · Oct 20, 2021

Wie greifst du denn mit Filezilla auf den PVE1 zu? Noch mit der alten IP im 192.168.178.0/24 Netz oder mit der neuen IP im 10.10.10.0/24 Netz? Wenn dein PVE1 FTP auf der 10.10.10.X/24 IP bereitstellt und du an PVE2 auch diese IP dann in Filezilla einträgst, dann sollten da schon so 3 bis 10 Gbit drin sein (je nachdem ob du MTU 1500 oder MTU 9000 nutzt). Filezilla von HDD ist aber auch ein ganz schlechtes Testobjekt. Mehr als die 110MB/s schafft deine HDD vermutlich eh nicht, dass es da keinen Unterschied machen sollte ob du nun per 10Gbit oder 1Gbit drauf zugreifst.

Du solltest da echt mal iperf3 versuchen um die Netzwerk-Bandbreite herauszufinden, damit dich die lahmen HDDs und SSDs nicht ständig ausbremsen. Deine 10 Gbit NIC ist ja schneller als ein SATA-Port, also wird alles außer vielleicht eine NVMe SSD oder ein SSD Raid deine 10 Gbit NIC ausbremsen.

Verständnis Frage zu 10GB Netzwerk und Proxmox, VMs und CTs

Active Member

Distinguished Member

Active Member

Distinguished Member

Active Member

Distinguished Member

Active Member

Active Member

Active Member

Distinguished Member

Active Member

Distinguished Member

Active Member

Distinguished Member

Active Member

Active Member

Distinguished Member

Active Member

Active Member

Distinguished Member