[SOLVED] HP Probleme mit Proxmox

[GMBauer]

Vielleicht sollte der TE mal die einschlägigen Konfigurationsseiten screenshoten und hier einbinden. Insbesondere die Netzwerkkonfiguration.

(Ich glaube nicht, dass dieser Rechner ein guter Kauf war für diese Anwendung. Der Prozessor ist ein 4C/4T, so what. Es laufen ja wohl schon diverse VMs oder Container....)

Vielleicht können wir vorübergehend das Thema, wie die HDDs an OMV weitergegeben werden, ausklammern. Der TE hat ja nach eigenen Worten schon mehrere Varianten getestet und die funktionierten grundsätzlich schon mal. Das Problem ist ja aktuell "nur" die Netzanbindung von außen.

Also: Alle Netzwerkkabel von der Fritz abstecken und sie über einen normalen günstigen 8er Switch (Netgear oder ähnliche Qualität bitte, nix Noname für 7 Euro) zusammenführen, von dort 1 Kabel zur Fritz. PC mit an den Switch per Kabel und dann testen, indem man ein paar ISOs uploadet. Bisher wissen wir ja nichts über den Gegenstück-PC und seine Anbindung. Dass der TE mindestens einige Beiträge per Handy schreibt (erkennbar an falschen, aber ähnlichen Wörtern), macht mich misstrauisch.
Wenn die ISOs nicht schnell genug laufen, iperf anwerfen.
Wenn der HP jetzt über USB und die Dockingstation angebunden ist, ist die USB-Buchse schnell genug?

Was mir ehrlich hin und wieder passiert, ist dass ein Gerät zurückfällt auf Fast Ethernet (warum auch immer), aber das merkt man ja schnell an der Deckelung auf 11 MByte pro Sekunde. Das kann hier ja nicht sein, wenn die in den Beiträgen des TE angegebene Geschwindigkeit stimmt...

 

[Heizungsbauer]

Vielleicht sollte der TE mal die einschlägigen Konfigurationsseiten screenshoten und hier einbinden. Insbesondere die Netzwerkkonfiguration.

Klar kein Problem wenn es weiter hilft

Spoiler: Screenshot

(Ich glaube nicht, dass dieser Rechner ein guter Kauf war für diese Anwendung. Der Prozessor ist ein 4C/4T, so what. Es laufen ja wohl schon diverse VMs oder Container....)

Aber nichts extrem rechenintensives, von irgendwelchen Leistungsgrenzen bin ich echt noch weit weg.

Also: Alle Netzwerkkabel von der Fritz abstecken und sie über einen normalen günstigen 8er Switch (Netgear oder ähnliche Qualität bitte, nix Noname für 7 Euro) zusammenführen, von dort 1 Kabel zur Fritz.

Habe ich wie gestern geschrieben auch mal testen wollen, habe einen Netgear 5 Port 1gb Switch angeschlossen und Server sowie PC ran, leider keine markante Verbesserung.
Eine Iso Übertragung 2,5gig lief nun im Schnitt mit 26/27MB/s auf das NAS.

Bisher wissen wir ja nichts über den Gegenstück-PC und seine Anbindung. Dass der TE mindestens einige Beiträge per Handy schreibt

Gegengeräte habe ich fairerweise einen alten DELL Laptop (Hauptsache Ethernet ), ein gutes Smartphone und ein Tablet.
Werte sind aber bei allen gleich, daher ist es leider auch nicht "nur" ein blödes Gegengerät.

Dass der TE mindestens einige Beiträge per Handy schreibt

Ja tatsächlich vorzugsweise nutze ich mein Handy oder Tablet der Laptop ist wie geschrieben nur für den physischen Port relevant, da wenn ich mit einem PC arbeiten möchte einen virtuellen PC entsprechend habe, was aber zum debuggen des Netzwerks aktuell problematisch zum benutzen ist, daher die anderen 3 Optionen.


Anbei mal die Iperfs - Iperf Server direkt in der OMV VM
Wifi war mit Wifi 6 von der gleichen Position.
Was mich stutzig macht ist hier nur das Handy aber wie gesagt habe es gerade nochmals getestet Upload ist trotzdem auf das NAS bei allen gleich mit ~25MB/s.

PC-direkt mit Switch und Lan Kabel
Tablet mit WIFI über FritzBox direkt Port 2 und über Switch Port 3 ungefähr gleiche Werte
Handy mit WIFI über FritzBox direkt Port 2 und über Switch Port 3 ungefähr gleiche Werte

Was mir auffällt ist das Handy das sieht aus wie wenn es eine 100er Sperre hätte aber Richtung internet ist es deutlich schneller?

Spoiler: Iperf

PC:


Tablet:

Handy:

PC mit an den Switch per Kabel und dann testen, indem man ein paar ISOs uploadet.

Ganz vergessen, tatsächlich ging g der direkte Upload über die Proxmox Web Gui IP sehr sehr zügig.
Genauer Wert wurde leider nicht angezeigt, jedoch definitiv deutlich schneller als auf das NAS oder per WLAN.

 

[ThoSo]

Das liest sich, als würde der traffik zum proxmox bzw. OMV durch etwas ausgebremst. Sind in der fritzbox fiter aktiv bzw einschränkungen?
Schau mal deine ip konfig der geräte durch.

 

[GMBauer]

Wir unterhalten uns jetzt bitte nicht mehr über irgendwelche Geräte, die nur per WLAN angebunden sind, okay? Das ist dein Privatvergnügen, denn schon eine kleine Lageänderung oder ein weiteres Gerät (Handy) kann massiv beeinflussen.

Das erste iPerf-Bild war doch vom PC über Kabel auf den HP, oder? Das heißt, der PC schiebt via Kabel Daten mit wahnsinniger 1-GBit-Geschwindigkeit auf den HP. Dann passt das ja auch.

Das heißt, das einzige Problem ist jetzt deine NAS-Installation.

Bitte lege ein OMV an mit einer Datenpartition in ext3 oder ext4 auf der SSD und teste zu der. (Editiert)

 

[GMBauer]

Das liest sich, als würde der traffik zum proxmox bzw. OMV durch etwas ausgebremst.

Wieso? Via Kabel geht doch alles.

 

[Heizungsbauer]

Wir unterhalten uns jetzt bitte nicht mehr über irgendwelche Geräte, die nur per WLAN angebunden sind, okay? Das ist dein Privatvergnügen, denn schon eine kleine Lageänderung oder ein weiteres Gerät (Handy) kann massiv beeinflussen.

Mir ging es nur um mit mehreren Geräten möglichst viele unterschiedliche Daten bereitzustellen die eventuell helfen, nicht speziell um eine WiFi Anbindung. Das ist mein Bier das ist mir schon klar .

Das erste iPerf-Bild war doch vom PC über Kabel auf den HP, oder? Das heißt, der PC schiebt via Kabel Daten mit wahnsinniger 1-GBit-Geschwindigkeit auf den HP. Dann passt das ja auch.

Ja vom PC zum Switch an dem auch direkt der Server mit OMV angeschlossen war.
Alles Kabel gebunden natürlich.

Bitte lege ein OMV an mit einer Datenpartition in btrfs auf der SSD und teste zu der.

Nur kurz zum Verständnis, da ich was die Installation angeht schon viel getestet habe und der Teufel gerne im Detail liegt.

Komplett neue OMV Instanz?
Also nicht zusätzlich in die existierende?
Und dann zusätzlich nochmals eine kleine Partition meiner SSD als BTRFS zum testen?
Irgendwelche Must have Einstellungen?
CPU auf Host bestimmtes bios oder sonst was?

 

[GMBauer]

Schade, dass man die Hardware des HP nicht besser kennt. Ich sinniere gerade über einen SATA-Controller, der mit einer Lane angebunden ist und zwei HDDs antreiben soll. Da sträube ich mich gegen alle Filesysteme, die - ich sag das jetzt mal mit ganz einfachen Worten, bitte nicht auf die Goldwaage legen - eine Datenbank im Hintergrund betreiben und "aktiv" sind in dem Sinne, dass sie selbstständig die Daten verwalten. Also kein ZFS und kein Btree.

Da der TE sowieso ein Raid 1 betreiben will und m.E. seine Hardware an ihren Grenzen betreibt, würde ich nur zu einem ganz klassischen oldfashioned Filesystem raten, bei OMV ware das ein ext-irgendwas.

 

[GMBauer]

Komplett neue OMV Instanz?
Also nicht zusätzlich in die existierende?
Und dann zusätzlich nochmals eine kleine Partition meiner SSD als BTRFS zum testen?
Irgendwelche Must have Einstellungen?
CPU auf Host bestimmtes bios oder sonst was?

1. Kann auch die bestehende sein. Läuft ja.
2. Doch, wenn du magst.
3. Ja. Einfach als Laufwerk der OMV-VM bereitstellen.
4. Filesystem auf ext-irgendwas. Kein BTree / btrfs oder ZFS oder so.
5. Eigentlich egal.

Ist ein einfacher Test, den du sehr einfach durchführen könntest. Dauert nicht lange.

Da du ja mit iPerf auf Du und Du bist (was mich sehr freut!), könntest du auch noch iperf zwischen deinem PC und dem OMV-System testen. OMV hat glaube ich dafür ein eigenes Modul, das du mehr oder weniger vollautomatisch einbinden kannst.

Wie gesagt, das ist jetzt nur ein Test. Wenn das jetzt schnell läuft, wissen wir genau, wo deine Schwachstelle sitzt. Dann würde ich die HDDs direkt durchreichen oder meinetwegen auch den ganzen Controller und die Platten in einem Raid 1 nur mit einem einfachen Filesystem betreiben.

Achtung: Du hast mein Edit weiter oben gelesen? Die kleine Testpartition nicht in btrfs oder zfs, sondern nur in ext-irgendwas.

 

[Heizungsbauer]

Schade, dass man die Hardware des HP nicht besser kennt. Ich sinniere gerade über einen SATA-Controller, der mit einer Lane angebunden ist und zwei HDDs antreiben soll.

Nochmal alles was hilft versuche ich nach bestem Wissen und Gewissen bereitzustellen!
Wenn ich nicht falsch liege ist bei mir keine Lane, da der Sata Controller kein Zusatzmodul sondern integriert ist (Intel Cannon Lake PCH Sata Controller) und direkt auf dem Motherboard an das System gekoppelt.

Da der TE sowieso ein Raid 1 betreiben will

Muss nicht aber kann.
Aktuell ist HDD1 auf ZFS im Dauerbetrieb und HDD2 als ext4 eigentlich im dauer Spindown und wird nur 2x die Woche nachts geweckt um meine HDD1 zu spiegeln.
Überlegung war aber tatsächlich einen ZFS Raid 1 evtl. in Zukunft zu betreiben (bitrot)
Dann sollte aber meine PV Anlage bis dahin stehen

Edit:
Beide HDDs werden aktuell von Proxmox verwaltet.
HDD1 ist als ZFS Dataset und
HDD2 ist virtuell durchgereicht an die VM.
In OMV sind beide HDDs einzeln als EXT4 formatiert ohne Raid.
Dann gibt es noch eine kleine 10GB Partition von meiner SSD für das Betriebsystem.

Spoiler: Einbindung OMV

könntest du auch noch iperf zwischen deinem PC und dem OMV-System testen. OMV hat glaube ich dafür ein eigenes Modul, das du mehr oder weniger vollautomatisch einbinden kannst.

Die Tests waren tatsächlich bereits mit Iperf innerhalb der OMV VM zu meinem Dell PC nach außen.

Achtung: Du hast mein Edit weiter oben gelesen? Die kleine Testpartition nicht in btrfs oder zfs, sondern nur in ext-irgendwas.

Ja ich reiche nachher kurz eine kleine 10GB Partition meiner SSD an OMV durch, formatieren die auf ext4 und gebe die mal frei

 

[Johannes S]

Naja, ein ZFS mirror hat eine schnellere Lesegewschwindigkeit als ein einzelnes ZFS device. Und hat dazu die ganzen Features, die ext4 nicht hat:

[TUTORIAL] Thread 'FabU: This is just a small setup with limited resources and only a few disks, should I use ZFS at all?'

Jan 3, 2025

Should I use ZFS at all?​

For once this requires a disclaimer first: I am using ZFS nearly everywhere, where it is easily possible, though exceptions do exists. In any case I am definitely biased pro ZFS.

That said..., the correct answer is obviously: “Yes, of course” ;-)

Integrity​

ZFS assures integrity. It will deliver exactly the very same data when you read it as was written at some point of time in the past.

“But all filesystems do this, right?” Well, there is more to it. ZFS works hard to actively assure the correctness. An...

• UdoB
• consumer class enterprise class integrity mirror raidz storage zfs
• Replies: 1
• Forum: Proxmox VE: Installation and configuration

• 

Also: Wenn man ein RAID haben möchte, dann sehe ich keinen Grund ZFS nicht zu nutzen. Was man sich tatsächlich (gerade bei so einer relatig schwachbrüstigen Kiste) überlegen könnte, dass man entweder OpenMediaVault baremetal installiert (also auf ProxmoxVE verzichtet und Anwendungen als docker oder podman Container in OMV betreibt) oder die NAS-Funktionalität mit einen lxc-Container betreibt. In den lxc-Templates von ProxmoxVE gibt es dafür den turnkey-fileserver, aber grundsätzlich eignet sich dafür jeder Linux-Container, in dem sich NFS und samba installieren lassen (die meisten). Die zamba-toolbox hat ein nettes Feature, um auf ältere Dateiversionen zuzugreifen: https://github.com/bashclub/zamba-lxc-toolbox

 

[GMBauer]

Beide HDDs werden aktuell von Proxmox verwaltet.
HDD1 ist als ZFS Dataset und
HDD2 ist virtuell durchgereicht an die VM.
In OMV sind beide HDDs einzeln als EXT4 formatiert ohne Raid.
Dann gibt es noch eine kleine 10GB Partition von meiner SSD für das Betriebsystem.

Nicht im Ernst, oder?

Die ganze Kiste funktioniert ja sowieso noch nicht, also lösche bitte mal im Proxmox die beiden Festplatten. Node/Disk/WipeDisk

Dann reichst du die beiden Platten einzeln an OMV durch und erst da tust du das erste Dateisystem drauf. Aber erst, wenn das mit der kleinen Testpartition auf der SSD zufriedenstellend läuft.

 

[GMBauer]

Also: Wenn man ein RAID haben möchte, dann sehe ich keinen Grund ZFS nicht zu nutzen.

Sers Johannes,

das ist mir schon klar. Aber soweit ist der TE noch nicht. Ich sehe ihn mehr in der "Fehler-Ausbügel-Phase". Und ein ZFS nur auf HDDs ist ja auch nicht wirlich best practice.

 

[Johannes S]

Ich sehe ihn mehr in der "Fehler-Ausbügel-Phase". Und ein ZFS nur auf HDDs ist ja auch nicht wirlich best practice.

VMs auf HDDs betreiben ist generell nicht best practice Aber als Datengrab schon vertretbar und genau für den Usecase wurde ZFS ja ursprünglich auch entwickelt, das kam als erstes in von Sun vertickten Solaris-Dateiservern zum Einsatz. So wie ich das verstehe will der OP die HDDs ja nicht zum VM-Hosting sondern als Datengrab benutzen.

 

[Heizungsbauer]

Die ganze Kiste funktioniert ja sowieso noch nicht, also lösche bitte mal im Proxmox die beiden Festplatten. Node/Disk/WipeDisk

Dann müsste ich erstmal meine Daten speichern, da aktuell schon nicht ganz unwichtige Daten dort vorhanden sind.

Dann reichst du die beiden Platten einzeln an OMV durch und erst da tust du das erste Dateisystem drauf. Aber erst, wenn das mit der kleinen Testpartition auf der SSD zufriedenstellend läuft.

Kann ich machen wie eingangs erwähnt hatte ich sogar schon den kompletten Controller per pci durchgeschoben da wusste Proxmox von nichts mehr und trotzdem hat es in der Durchsatzrate keinerlei Unterschied gemacht.
Wie gesagt habe ich keinen Schmerz und setze auch alles neu auf.
Was ist den der bevorzugte Weg Daten an VMs freizugeben?
Vielleicht mache ich ja beim Grundaufbau schon etwas falsch?
PCI Passthrough und den kompletten Controller durchreichen an die VM?
Disk Passthrough mit qm set die ganze Platte virtuell durchreichen?
Oder doch die Platten unter Proxmox lassen und per Web Gui teile der Festplatte durchreichen?

Was man sich tatsächlich (gerade bei so einer relatig schwachbrüstigen Kiste) überlegen könnte, dass man entweder OpenMediaVault baremetal installiert

Prinzipiell bin ich ja auch der Freund von lieber zu viel und Puffer als zu wenig aber momentan reden wir hier ja nicht von extrem rechenintensiven Aufgaben weder CPU noch RAM kamen jemals ins schwitzen rein mein 1gb Port könnte hier theoretisch ab mehr wie 2 Festplatten das erste Nadelöhr werden aber aktuell sehe ich kein zu schwache Hardware?
Die Kiste soll ja 24/7 laufen mit mehr Leistung steigt ja nur mein Stromverbrauch unnötig. Sonst gäbe es ja auch keinen Grund aktuell kein Raid1 zu fahren wenn mir der Strom komplett egal wäre.

VMs auf HDDs betreiben ist generell nicht best practice

Für die Betriebssysteme nutze ich ja meine SSD nur für die Massendaten sind die HDDs gedacht.

 

[Johannes S]

Prinzipiell bin ich ja auch der Freund von lieber zu viel und Puffer als zu wenig aber momentan reden wir hier ja nicht von extrem rechenintensiven Aufgaben weder CPU noch RAM kamen jemals ins schwitzen rein mein 1gb Port könnte hier theoretisch ab mehr wie 2 Festplatten das erste Nadelöhr werden aber aktuell sehe ich kein zu schwache Hardware?

Wenn du das in erster Linie als NAS plus envtl. ein paar Container nutzt ist es halt auch sinnvoll ein NAS-Betriebssystem dafür zu nutzen, die Virtualisierung mit OMV verschenkt halt auch Performance. Oder (wenn man unbedingt PVE nutzen will) halt den Weg über einen Container zu gehen.

 

[ThoSo]

Das liest sich, als würde der traffik zum proxmox bzw. OMV durch etwas ausgebremst. Sind in der fritzbox fiter aktiv bzw einschränkungen?
Schau mal deine ip konfig der geräte durch.

Wieso? Via Kabel geht doch alles.

Was mich stutzig macht ......auf das NAS bei allen gleich mit ~25MB/s.

Entweder habe ich heute morgen da etwas falsch verstanden oder bin jetzt durch den Wind.
Auf alle Fälle bin ich hier mal raus - mir fehlt hier jetzt der rote Faden was überhaupt noch Sache ist!
Würde mal vorschlagen, der TE sollte sich hier auf Papier mal ein Konzept anlegen und dann seinen PVE entsprechend von der Pike auf hochziehen. Es wurde zu viel gebastelt und getestet um noch einigermassen durchzublicken.
My2Cent

 

[Heizungsbauer]

Sooooo....
Ich weiß nun das ich nichts weiß...
Fakt ist wie von @GMBauer vorgeschlagen habe ich nun einen kleinen Teil meiner SSD noch zusätzlich eingebunden.
Direkt über einen Switch per Lan alles zusammen gekabelt und siehe da auf die SSD läuft die Übertragung mit ~110MB/s.
Vollkommen akzeptabel für wie @Johannes S gesagt hat "eine Virtualisierung eines NAS!"
Ob ich da mit einem günstigen gekauften dann bare metal NAS das immerhin auch 200-300€ kostet arg viel mehr raus bekommen weiß ich nicht.

Jetzt wird es aber seltsam da ich ja eigentlich nur getestet habe und nichts umgestellt habe.
Gepackt von diesem Ergebnis wollte ich es mit der HDD Geschwindigkeit vergleichen für einen schönen Screenshot für hier und was soll ich sagen fast auf den MB genau habe ich auf die HDD die gleiche Übertragungsrate wie auf die SSD!

Ich habe dann noch etwas getestet und auch wenn nun "hart verkabelt" mit dem PC alles läuft hat @ThoSo ebenfalls nicht unrecht, da sobald ich den Switch übergehe und meinen Datenverkehr über die Fritzbox jage kracht die Rate sofort wieder in den Keller...

Warum? Keine Ahnung aber tatsächlich ist es nun das Erste mal das ich überhaupt Durchsatz habe!!
Das Upgrade der internen Hardware steht ja sowieso an und da der Hauptpunkt jetzt läuft ist das Optimieren des Internen Netzwerks und des Wlans mein "Privatvergnügen"

Ich danke euch allen sehr für eure Unterstützung eines DAUs wie mir!!

PS. Falls jemand noch Lust hat mich würde es echt interessieren wie ihr eure Festplatten entsprechend durchreicht bzw. tatsächlich falls ihr ein Grundlagen Blog oder Video habt wie man so ein System von Grund auf aufbaut gerne her damit!
Ich glaube ich mache mir teils auch einfach das Leben etwas schwer!

 

[TErxleben]

Sooooo....
Ich weiß nun das ich nichts weiß...
Fakt ist wie von @GMBauer vorgeschlagen habe ich nun einen kleinen Teil meiner SSD noch zusätzlich eingebunden.
Direkt über einen Switch per Lan alles zusammen gekabelt und siehe da auf die SSD läuft die Übertragung mit ~110MB/s.
Vollkommen akzeptabel für wie @Johannes S gesagt hat "eine Virtualisierung eines NAS!"
Ob ich da mit einem günstigen gekauften dann bare metal NAS das immerhin auch 200-300€ kostet arg viel mehr raus bekommen weiß ich nicht.

Jetzt wird es aber seltsam da ich ja eigentlich nur getestet habe und nichts umgestellt habe.
Gepackt von diesem Ergebnis wollte ich es mit der HDD Geschwindigkeit vergleichen für einen schönen Screenshot für hier und was soll ich sagen fast auf den MB genau habe ich auf die HDD die gleiche Übertragungsrate wie auf die SSD!

Ich habe dann noch etwas getestet und auch wenn nun "hart verkabelt" mit dem PC alles läuft hat @ThoSo ebenfalls nicht unrecht, da sobald ich den Switch übergehe und meinen Datenverkehr über die Fritzbox jage kracht die Rate sofort wieder in den Keller...

Warum? Keine Ahnung aber tatsächlich ist es nun das Erste mal das ich überhaupt Durchsatz habe!!
Das Upgrade der internen Hardware steht ja sowieso an und da der Hauptpunkt jetzt läuft ist das Optimieren des Internen Netzwerks und des Wlans mein "Privatvergnügen"

Ich danke euch allen sehr für eure Unterstützung eines DAUs wie mir!!

PS. Falls jemand noch Lust hat mich würde es echt interessieren wie ihr eure Festplatten entsprechend durchreicht bzw. tatsächlich falls ihr ein Grundlagen Blog oder Video habt wie man so ein System von Grund auf aufbaut gerne her damit!
Ich glaube ich mache mir teils auch einfach das Leben etwas schwer!

Schön, dass du den Karusselbremser identifizieren konntest.

Bei 1Gbit sind 125MB/s rechnerisches Maximum. Du wirst also mit einem Baremetel-NAS keinen Blumentopf mehr gewinnen.
Den Flaschenhals der Netzwerkanbindung können heute sogar die meisten HDDs locker auslasten.
Ich reiche eigentlich nie HW durch (USB-Geräte wie Dongles ausgenommen), da dieses die Portabilität killt.
Für Datengräber schliesse ich z.B. eine 16TB-Platte an und installiere darauf die komplette VM. Diese ist dann durch einfaches Umstöpseln ruckzuck auf einem anderen PVE verfügbar.

P.S.: Welche FB nutzt du denn?

 

[Heizungsbauer]

Welche FB nutzt du denn?

6690 cable
Die wird aber in ein paar Wochen wie gesagt nur noch als Modem genommen und dahinter kommt ein kleiner PC mit OPNsense und wie ich jetzt gelernt habe definitiv ein großer Switch.

Bei 1Gbit sind 125MB/s rechnerisches Maximum. Du wirst also mit einem Baremetel-NAS keinen Blumentopf mehr gewinnen.

Das habe ich mir fast gedacht

Ich reiche eigentlich nie HW durch

Mit HW meinst du PCI Passthrough oder Virtuell?
Irgendwie führen viele Wege nach Rom wie man etwas machen kann. haha

 

[TErxleben]

PCI Passthrough. Was meinst du mit virtuell?