Verständnis Frage zu 10GB Netzwerk und Proxmox, VMs und CTs

[Falk R.]

Wenn du plötzlich nur noch 10MB schaffst, klingt ja fast danach, als wenn der traffic geroutet wird.
Ich finde das Netzwerksetup sehr durcheinander.
Warum überhaupt zwei Netze? Wird dazwischen geroutet?

 

[Dunuin]

Die Idee ist ja eigentlich das nicht geroutet wird. Halt 2 getrennte Netze. Ein 10 Gbit Storage Backend für SMB/NFS/FTP und Co wo die Bandbreite vorallem interessiert und ein normales 1 Gbit LAN für alles andere (was dann nicht so zugespammt wird, weil die TBs an Daten, die man durch die Glasfaser schiebt, dann nicht das normale 1 Gbit LAN beeinträchtigen und so z.B. die Latenzen verschlechtern könnten)

 

[Falk R.]

Hast du im 10.x Netzwerk ein Gateway abgegeben?
Wenn ja, dann entfernen.
Wenn du testest, über Name oder IP? Hast du mal iperf auf beiden Nodes ausgeführt?

 

[Dunuin]

Hast du im 10.x Netzwerk ein Gateway abgegeben?
Wenn ja, dann entfernen.
Wenn du testest, über Name oder IP? Hast du mal iperf auf beiden Nodes ausgeführt?

Das hab ich auch schon alles gesagt und gefragt.

Was ich mir noch vorstellen könnte wegen den 10 MB/s wären schlechte Einstellungen was die Jumboframes angeht, dass da viele Pakete verloren gehen und gesplittet werden müssen, weil da irgendwo auf dem Weg eine NIC/Bridge/Switch/Router sitzt welche mit 1500 MTU läuft. Da muss dann ja durchgängig überall eine 9000er MTU sein, weil sonst die 9000er Pakete in einer Sackgasse enden, nicht weiterkommen und dann gesplittet und als kleinere Pakete erneut verschickt werden müssen, bis die dann endlich klein genug sind, dass die noch beim dem kleinsten Flaschenhals durchkommen. Da könnte er dann testweise mal die MTUs überall für das 10 Gbit NEtz auf 1500 zurücksetzen und gucken ob es dann besser läuft.

Aber ohne ein iperf3 Benchmark ist es echt schwer da weiter zu kommen.

 

[Master67]

Wie greifst du denn mit Filezilla auf den PVE1 zu? Noch mit der alten IP im 192.168.178.0/24 Netz oder mit der neuen IP im 10.10.10.0/24 Netz?

Wenn ich das wüsste ;-)
Ich habe ja im PVE1 zwei IPs und im Desktop auch zwei IPs und Testen wollte ich das eigentlich unter OVM die als VM auf PVE2 läuft, aber das geht nicht weil ich in OMV auch zwei Netzwerke (Schnittstellen) installieren muss.
Trage ich beide ein wird nur die 1GB Benutzt, trage ich nur die IP vom 10GB Nic ein kann...... Oh.... ich glaube ich habe den Fehler.... ich versuche grade mal was!

 

[Master67]

Ich war gedanklich da bei Windows, wenn ich die Ip dort eingestellt habe, habe ich auch die Metrik so eingestellt das immer zuerst die 10GB Karten Angesprochen werden, hier (Linux/Proxmox) so habe ich es jetzt verstanden muss ich die VM mit der 10GB IP Ansprechen, also direkt.. Okay
Wollten ich versuchen also alles noch mal geändert PVE2 muss für die Änderungen neu gestartet werden...... Ups.... keine Verbindung mehr zu PVE2.
Kann den Server nicht mehr erreichen weder über 10GB Nic noch über 1GB Nic, muss das teil wohl Ausbauen und einen Monitor und Tastatur anschließen..... muss aber vorher Googlen wie ich das so per Konsole einstellen muss das das Teil wieder per Netzwerk erreichbar ist.
Und wenn nicht... sind 50% meiner Daten weg, war ja grade am Sichern und es ging halt sehr langsam....
Puh..... ich hätte einfach zufrieden sein sollen so wie es gelaufen ist, aber wann ist man schon zufrieden? ;-)

P.S. iperf3 Benchmark habe ich mir angeschaut, war mir aber nicht Sicher wie ich das Installieren soll, in fast allen CTs läuft bei mir webmin, weil ich so sehen kann wo die Ordner sind und ich so Daten Löschen und hochladen kann, im PVE läuft der aber nicht.
Naja... ehe egal, ich muss erst mal wieder die Maschine sehen können

 

[Dunuin]

Ich war gedanklich da bei Windows, wenn ich die Ip dort eingestellt habe, habe ich auch die Metrik so eingestellt das immer zuerst die 10GB Karten Angesprochen werden, hier (Linux/Proxmox) so habe ich es jetzt verstanden muss ich die VM mit der 10GB IP Ansprechen, also direkt.. Okay
Wollten ich versuchen also alles noch mal geändert PVE2 muss für die Änderungen neu gestartet werden...... Ups.... keine Verbindung mehr zu PVE2.
Kann den Server nicht mehr erreichen weder über 10GB Nic noch über 1GB Nic, muss das teil wohl Ausbauen und einen Monitor und Tastatur anschließen..... muss aber vorher Googlen wie ich das so per Konsole einstellen muss das das Teil wieder per Netzwerk erreichbar ist.
Und wenn nicht... sind 50% meiner Daten weg, war ja grade am Sichern und es ging halt sehr langsam....
Puh..... ich hätte einfach zufrieden sein sollen so wie es gelaufen ist, aber wann ist man schon zufrieden? ;-)

P.S. iperf3 Benchmark habe ich mir angeschaut, war mir aber nicht Sicher wie ich das Installieren soll, in fast allen CTs läuft bei mir webmin, weil ich so sehen kann wo die Ordner sind und ich so Daten Löschen und hochladen kann, im PVE läuft der aber nicht.
Naja... ehe egal, ich muss erst mal wieder die Maschine sehen können

Sobald du eine Tastatur dran hast kannst du deine Netzwerk-Konfiguration z.B. über nano /etc/network/interfaces editieren. Vorher aber besser mit cp /etc/network/interfaces /etc/network/interfaces.backup eine Kopie machen.

Iperf3 ist zwischen 2 Linuxes ziemlich einfach. Erst mit apt update && apt install iperf3 auf beiden PVE Hosts installieren. Dann auf deinem PVE1 iperf3 als server starten (iperf3 -s -B DEINE.PVE1.10Gbit.IP) und auf dem PVE2 Host als Client (iperf3 -s DEINE.PVE1.10Gbit.IP -B DEINE.PVE2.10Gbit.IP). Würde mit Windows aber genau gleich gehen, nur das mit die Exe halt hier runterladen müsste.

 

[Master67]

Okay ich hatte glück, habe ja den 2 Nic mit der 192er belegt, nach dem Ausbau der 10GB Karte konnte ich über den 2. Nic wieder drauf, dann die Einstellungen im PVE2 Netzwerkarte zurückgestellt, runtergefahren die 10GB wieder eingebaut und läuft!
Bevor ich nun weiter darum "mache", mache ich erst mal meine Backups fertigt pro HDD brauche ich so ca. 8 Std.

 

[Dunuin]

Ist immer noch die Frage wie du auf deine Freigaben zugreifst wenn du meinst Windows regelt das für dich schon.

Bei mir ist mein 1 Gbit LAN z.B. auf 192.168.43.0/24 und mein 10 Gbit LAN auf 192.168.49.0/24.

Mein NAS stellt SMB (Windows Dateifreigaben) sowohl über die IPs 192.168.43.4 als auch 192.168.49.4 bereit.

Meine Windows Workstation sitzt auch in beiden LANs und hat die IPs 192.168.43.50 und 192.168.49.50.

Um von der Workstation auf die Freigaben zuzugreifen habe ich drei Optionen die alle auf den gleichen Share zugreifen aber eben über andere NICs und Netze:
1.) \\HostnameNAS\MeinShare
2.) \\192.168.43.4\MeinShare
3.) \\192.168.49.4\MeinShare

Option 2 und 3 sind eindeutig weil fixe IPs. Option 2 wird immer 1 Gbit sein und Option 3 immer 10 Gbit.
Option 1 ist komplizierter. Da läuft das genau wie online mit Domains und nicht Windows entscheidet wo das hin soll sondern dein DNS-Server, also die Fritzbox, weil diese \\HostnameNAS\ wie eine Domain zu einer IP auflösen muss. In meinem fall wird der Hostname zu 192.168.43.4 aufgelöst, also führen sowohl Option 1 als auch Option 2 zum selben Ergebis und ich habe dort nur 1 Gbit.
Daher sagte ich du sollst es direkt mit der IP aus deinem 10 Gbit Netz versuchen.

 

[Master67]

Also so sieht das bei mir aus PVE1 ist ein Server mit 2 CPUs und 2GB AB, dort laufen 8 Cts und 3 VMs, als CT auch Plex, in diesem Server sind zwei HDDs nur für Plex, was viel zu wenig ist, bei dem was ich den letzten 10Jahren so gesammelt wurde, die Restlichen Daten bekommt Plex von PVE2 einem Normalen 10 Jahre alten Desktop PC, hier läuft OMV als VM und reicht die Festplatten als \\192.168.178.xx\omv durch.

Die Platten des OMV auf PVE2 werden (was grade passiert) auf einen separaten NAS (auch OMV) gesichert, aber da ich "rsync" auf beiden OMVs nicht zum laufen bekommen habe geht es über einen Umweg, per "AOMEI" Synro ans Sichern.

Nun, wenn die Daten voll gesichert sind, werden nur die "Unterschied gesichert das geht dann recht schnell und kaum merkbar, da stört es auch nicht wenn im Schnitt 88-95 MB/S laufen.

Ach und ich hab noch einen kleine Beeling mit OMV... UND alle laufen natürlich in 192.168.178.xx, also es ändert sich nur die letzte zahl der IP.

Ich verstehe was du meinst, aber die genaue Umsetzung ist mir schleierhaft... z.B. OMV ich muss in OMV zwei Schnittstellen einrichten, die für 1Gb mit 192.168.43.xx mit Gateway und DNS bzw. Subnetz, die zweite Schnittstelle würde ich für 10GB mit 192.168.49.xx ohne Gateway und DNS aber mit Subnetz anlegen? oder..?,okay so hatte ich es schon!
In der VM "OMV" ist die 1GB Netzwerkkarte eingetragen und die 10GB Netzwerkkarte... Okay hatte ich so.... und jetzt habe ich Angenommen ich rufe den Explorer auf öffne Fenster A auf meinem Desktop, auf dem auch die Daten liegen, und Fenster B zu der Freigegebenen HDD der OMV VM, und schiebe nun die Daten von A nach B mit 10GB da mein Desktop ja 10Gb hat.

Wenn ich aber Daten von einem anderen PC ohne 10GB zu "B" verschiebe, soll das ja in 1GB Netzwerk passieren....nur wie, wie sage ich dem "Explorer" welche IP oder Netzwerkkarte er nutzen soll?....
Unter Windows habe ich das über die Metrik Eingerichte IP 10.10.10.100 immer zuerst (also "Metrik 1")......

 

[Dunuin]

Also so sieht das bei mir aus PVE1 ist ein Server mit 2 CPUs und 2GB AB, dort laufen 8 Cts und 3 VMs, als CT auch Plex, in diesem Server sind zwei HDDs nur für Plex, was viel zu wenig ist, bei dem was ich den letzten 10Jahren so gesammelt wurde, die Restlichen Daten bekommt Plex von PVE2 einem Normalen 10 Jahre alten Desktop PC, hier läuft OMV als VM und reicht die Festplatten als \\192.168.178.xx\omv durch.

Nachdem du deiner OMV VM/LXC eine zweite NIC im 10Gbit Netz verpasst hast musst du auch gucken, dass da diese auch für SMB/NFS mitbenutzt wird. Bei OMV sollte SMB aber glaube ich automatisch auf allen Interfaces laufen, sofern du das nicht explizit über manuelle Konfig-Parameter unterbindest. Willst du aber das dein PVE1 auch mit 10Gbit auf dein OMV auf PVE2 zugreifen kann, dann darfst du in PVE1 nicht "\\192.168.178.xx\omv" für dein Plex eintragen sondern du musst die IP aus dem 10 Gbit Netz nehmen (also "\\10.10.10.xx\omv" oder was du da hast). Das gleiche natürlich für alle anderen Rechner die eine 10 Gbit NIC besitzen. Da auch immer "\\10.10.10.xx\omv" benutzen damit es schnell ist. Alles was keine 10 Gbit NIC hat kann dann weiterhin normal "\\192.168.178.xx\omv" nutzen um per 1 GBit auf den Share zugreifen zu können.

Die Platten des OMV auf PVE2 werden (was grade passiert) auf einen separaten NAS (auch OMV) gesichert, aber da ich "rsync" auf beiden OMVs nicht zum laufen bekommen habe geht es über einen Umweg, per "AOMEI" Synro ans Sichern.

Das separate NAS für Backups ist dann weder auf PVE1 noch PVE2 und hat kein 10Gbit?

Nun, wenn die Daten voll gesichert sind, werden nur die "Unterschied gesichert das geht dann recht schnell und kaum merkbar, da stört es auch nicht wenn im Schnitt 88-95 MB/S laufen.

Ach und ich hab noch einen kleine Beeling mit OMV... UND alle laufen natürlich in 192.168.178.xx, also es ändert sich nur die letzte zahl der IP.

Die kann dann ja weiter im 192.168.178.xx laufen.

Ich verstehe was du meinst, aber die genaue Umsetzung ist mir schleierhaft... z.B. OMV ich muss in OMV zwei Schnittstellen einrichten, die für 1Gb mit 192.168.43.xx mit Gateway und DNS bzw. Subnetz, die zweite Schnittstelle würde ich für 10GB mit 192.168.49.xx ohne Gateway und DNS aber mit Subnetz anlegen? oder..?,okay so hatte ich es schon!

Genau. Aber kannst du natürlich andere IP Ranges nehmen oder deine 192.168.178.xx und 10.10.10.XX behalten. 192.168.43.xx und 192.168.49.xx ist halt nur das was ich hier für mich daheim nutze.

In der VM "OMV" ist die 1GB Netzwerkkarte eingetragen und die 10GB Netzwerkkarte... Okay hatte ich so.... und jetzt habe ich Angenommen ich rufe den Explorer auf öffne Fenster A auf meinem Desktop, auf dem auch die Daten liegen, und Fenster B zu der Freigegebenen HDD der OMV VM, und schiebe nun die Daten von A nach B mit 10GB da mein Desktop ja 10Gb hat.

Die frage ist halt welche Adresse du in Fenster B öffnest. Tippst du da "\\10.10.10.xx\omv" ein landet alles was du von Fester A nach Fenster B ziehst mit schnellen 10 Gbit auf deinem Share von dem OMV LXC. Tippst du in Fenster B "\\192.168.178.xx\omv" ein und machst das gleiche landet es auch in der OMV aber nimmt den Weg über die langsame 1 Gbit NIC. Sofern ein Rechner da eine 10 Gbit NIC besitzt würde ich da überall ausschließlich die Shares als \\10.10.10.xx\omv" einbinden, damit das immer über 10 Gbit läuft. Alles was du nicht explizit ins schnelle 10.10.10.XX Netz leitest läuft standardmäßig über dein Gateway und das dürfte deine Fritzbox im 192.168.178.xx Netz sein, also landet alles standardmäßig im langsamen 1 Gbit Netz (was ja auch gut so ist).

Wenn ich aber Daten von einem anderen PC ohne 10GB zu "B" verschiebe, soll das ja in 1GB Netzwerk passieren....nur wie, wie sage ich dem "Explorer" welche IP oder Netzwerkkarte er nutzen soll?....
Unter Windows habe ich das über die Metrik Eingerichte IP 10.10.10.100 immer zuerst (also "Metrik 1")......

Bei einem Rechner ohne 10 Gbit NIC trägst du dein OMV Share halt als "\\192.168.178.xx\omv" wie bisher auch ein.

Hier mal ein Beispiel bei mir. Selbe zwei Rechner, selber Ordner, selbe Datei, selber SMB Share. Nur einmal kopiere ich die Datei nach 192.68.49.4 (links, was dann mein 10Gbit Netz nutzt) und einmal nach 192.168.43.10 (rechts, was dann mein 1 Gbit Netz nutzt):

Selber SMB Share nur über andere IP im Windows Explorer aufgerufen:

 

[Master67]

Erst mal ein Dankeschön an dich das du dir echt die Zeit nimmst mich dadurch zu schleusen (Daumen hoch, Smilie finde ich nicht)........

Ich glaube wir kommen der Sache näher

Bei OMV sollte SMB aber glaube ich automatisch auf allen Interfaces laufen

Japp das passt....

Beim Plex Container (PVE1 und Ubuntu 21.10) weiß ich das nicht, aber ich glaube das ist auch nicht Nötigt, die 100MB/S Übertragung vom OMV sollte Ausreichen.
Die 2 HDDs die im PVE1 für Plex freigegeben sind, bekommen ich ja nicht schneller (kein Cache), selbst wenn der PVE1 mit der 10Gb Karte läuft was er ja jetzt wieder unter 192.168.178.92 macht, da die anderen NIC (1GB) nicht benötigt werden.

Das separate NAS für Backups ist dann weder auf PVE1 noch PVE2 und hat kein 10Gbit?

völlig Richtig, ist hier aber auch nicht so das Problem, weil die Syncros nach dem Vollbackup nur noch "inkrementellen" laufen.

und 192.168.49.xx ist halt nur das was ich hier für mich daheim nutze.

japp war klar...

Die frage ist halt welche Adresse du in Fenster B öffnest. Tippst du da "\\10.10.10.xx\omv" ein landet alles was du von Fester A nach Fenster B ziehst mit schnennen 10 Gbit auf deinem Share von dem OMV LXC. Tippst du in Fenster B "\\192.168.178.xx\omv" ein und machst das gleiche landet es auch in der OMV aber nimmt den Weg über die langsame 1 Gbit NIC.

Okay..., das sollte zu schaffen sein ;-)

Dennoch, bleibt eine Frage, was mache ich mit meinem 10GB Router wenn ich den Internet Stecker (Kabel) ziehe... er ist dann für mich nicht mehr erreichbar, muss ich den Stecker ziehen wenn die 10GBs sowieso keine Gateway (wobei ich immer die Gateway der FB nutzt, den dort hängt ja auch der 10GB Router dran) benutzen?

 

[Dunuin]

Dennoch, bleibt eine Frage, was mache ich mit meinem 10GB Router wenn ich den Internet Stecker (Kabel) ziehe... er ist dann für mich nicht mehr erreichbar, muss ich den Stecker ziehen wenn die 10GBs sowieso keine Gateway (wobei ich immer die Gateway der FB nutzt, den dort hängt ja auch der 10GB Router dran) benutzen?

Das ist eine gute Frage. Du brauchst den Gbit-Port ja eigentlich nur für die Web-Oberfläche und Internet wegen Firmware-Updates, weil dein 10Gbit Netz ja keinen Gateway hat und folglich nicht ins Internet kommt.

Das WebUI des Switches auf die 10Gbit Ports zu legen ist meist nicht so schwer. Ich vermute das ist sogar schon so eingestellt. Denke wenn du dem Switch auch eine IP im 10.10.10.XX Netz verpasst, dann kannst du auch von jedem Rechner der eine 10 Gbit NIC hat auf dessen WebUI zugreifen. Löst aber natürlich nicht das Problem mit dem Internet wegen Updates.

Da würden mir 3 Dinge einfallen:
1.) Offline Updates machen
Meist kann man sich ja auf der Hersteller-Seite auch die Images für Firmware-Updates herunterladen. Dann verbindet man sich mit dem WebUI und dort gibt es dann meist eine Option wie man ein Firmware-Image von seinem Rechner auf den Switch hochladen kann. Da bräuchte dein Switch dann auch überhaupt kein Internet mehr und auf das WebUI solltest du ja auch über das 10 Gbit Netz kommen.

2.) VLANs
Ich vermute mal dein Switch wird VLANs unterstützen. Damit könntest du die vier 10 Gbit Ports virtuell von dem einen 1 Gbit-Port trennen. Also z.B. den 1 Gbit-Port der VlanID 1 zuweisen und die vier 10 Gbit Ports der VlanID 2. Normal dürften da alle 5 Ports im selben standard VLAN sitzen (VlanID 1) und damit wäre die alle untereinander verbunden wie bei einem unmanaged Switch. Setzt du die Ports in verschiedene VLANs machst du deinen einen physichen Switch quasi zu zwei getrennten virtuellen Switches. Da die getrennt sind gibt es dann keine Loops und du kannst den einen 1 Gbit Port weiterhin im 192.168.178.XX Netz lassen und die vier 10 Gbit Ports im 10.10.10.XX Netz. Ist dann quasi wie bei deinen Hosts mit 2 NICs die ja auch in beiden Netzen sitzen können. Dann könnte dein Switch ganz normal weiter von jedem Rechner im 1 Gbit Netz administriert werden und er hätte auch weiterhin Zugang zur Fritzbox und damit Internet.

3.) Routing
Du könntest auch einen weiteren Router nutzen der zwischen dem 10 Gbit Netz und dem 1 Gbit Netz vermittelt. Dann könnten auch alle Host aus dem 1 Gbit Netz in das 10 Gbit Netz und anders herum. Das wird dann aber sehr wahrscheinlich noch langsamer sein als 1 Gbit, da das Routing nochmal ausbremst und daher nicht wirklich nützlich (zu mindestens nicht nützlich für alles andere als auf den Switch zu kommen). So könnte dann aber auch ein Host im 1 Gbit Netz auf einen 10 Gbit Port vom Switch zugreifen um diesen zu administieren und dein Switch könnte den 10 Gbit-Port nutzen um über den zusätzlichen Router über das 1 Gbit Netz über die Fritzbox ins Internet zu gelangen. Für sowas könnte man z.B. eine OPNsense als Router in einer VM auf setzen oder wenn du glück hast kann dein Switch auch selbst schon als Router arbeiten (meiner könnte das z.B. wenn ich es wollte) und man bräuchte nicht extra ein neues Gerät oder eine neue VM. Ist aber alles ziemlich kompliziert.

Ich würde da aber zu Option 1 oder 2 raten wobei Option 2 wohl noch die eleganteste Lösung wäre. Aber am besten erstmal das 10Gbit NEtz zum Laufen bekommen, bevor du dir da neue Fehlerquellen mit VLANs einfängst.

PS: Ich hatte oben noch ein Bild reineditiert kurz bevor du geantwortet hast.

 

[Master67]

VLANs

Oh..... ja.... damit sollte ich mich auch mal Beschäftigen, aber irgendwie.... hatte ich noch keine Lust dazu, weil das Thema auch recht "Groß" ist, im Keller arbeitet ein 16 Port Netgear

Den Rest schaue ich mir heute Abend an und werde schauen was ich dazu sagen kann

 

[Master67]

Willst du aber das dein PVE1 auch mit 10Gbit auf dein OMV auf PVE2 zugreifen kann, dann darfst du in PVE1 nicht "\\192.168.178.xx\omv" für dein Plex eintragen sondern du musst die IP aus dem 10 Gbit Netz nehmen

Okay..... ich kommen nicht weiter, Proxmox weigert sich immer wenn ich die 10GB Netzwerkkarte auf z.B. 10.10.10.100/24 stelle und den ersten 1GB NIC auf 192.168.178.xx/24 + Gateway 192.169.178.xx so wie hier.


Das Bild zeigt den PVE1, ich kann Ihn erreichen, er startet aber nicht die VMs mehr und die VMs und CTs lassen ein ändern der Netzwerkkarten von vmbr0 zu vmbr1 nicht zu, habe dazu keine Berechtigungen mehr Fehler 500.

Ich habe noch einen alten Dell hier stehen mit... LOL 4x1GB DDR2 und Windows 10 (sehr sehr sehr langsam), dort habe ich die 10GB Karten ausprobiert, werden erkannt und laufen und wenn ich daten hin - und her schiebe schafft dieser Oldtimer fast 140MB/s... Okay mehr schaffen einfach die sehr sehr alten HDDs nicht.
Aber man kann gut erkennen das das läuft, keine Ahnung was da bei meinem Proxmox krumm läuft, ggf werden auch einfach die Karten unter Linux nicht richtig erkannt.
Leider muss ich das hier Abbrechen, weil ich Bedenke habe meine Maschinen zu zerstören, beim PVE2 muss ich alles Ausbauen und eine GK einbauen um das Interface einzustellen.

Werde mir mal einen etwas "Neueren" Test PC Kaufen und dort mal Proxmox Installieren und schauen ob ich da die 10GB so zum Laufen bekomme wie wir das hier versucht haben!