Proxmox, Open Media Vault, NFS Leistung gering

R

Rockhound53

Member
May 24, 2024
30
1
8
Hallo zusammen,

Ich nutze die aktuelle PVE-Version und habe eine VM von Open Media Vault installiert und dort eine NVME (WD RED 700, 2 Gbyte) an OMV durchgereicht und dort mit ext4 formatiert.

Ich erinnere mich daran, dass ich damals, als ich die NVMe frisch installiert hatte, über eine NFS-Freigabe (Freigabe über Mount und durchreichen an den LXC) eine Leseleitung von über 400 Mbyte hatte.

Jetzt habe ich die Container etc. in neu verteilt und über die 2 NICs im VLAN gepackt. HAbe dann noch einmal getestet und bekommen, egal was ich mache, nicht mehr als 130 bis 150 Mbyte die sekunde.

Nun die Frage, warum der Leistungseinbruch? Hat trim auch mit der Leseleistung, oder nur mit der Schreibleistung zu tun? Ich hatte bisher kein Discard und keine SSD-Emulation an, habe dies aber jetzt nachgeholt. Nun die Frage, Trimmt OMV dann automatisch? Muss ich in der VM trimmen oder über den Host?

So ist die NVME eingebaut:

1738509167732.png

Danke und Grüße
 
Hallo noch einmal,

ich habe jetzt noch etwas ausprobiert und die Leistung des Laufwerkes scheint in Ordnung zu sein (hdparm spuckt werte über 2000 Mb/s aus). Auch Test mit dd haben Leseraten über 400 Megabyte/s ausgegeben.

Was aber langsam ist, ist die NFS-Freigabe über OMV. Ich weiß, dass als ich alle neu aufgesetzt hatte, mindestens 250 Megabyte/s liefen (wenn Host über die 2,5 Gbit Schnittstelle angebunden war und OMV über die 10 Gbit). Wenn Host und OMV auf den Selben NIC liefen, meine ich mich an Werte über 400 Mb/s erinnern zu können.

Jetzt bekomme ich nich tmehr als 150 Mb/s. Auch iperf hat nicht mehr ausgegeben als 1,25 Gigabit/s, was ja ungefahr die 150 Mb/s sind.

Das einzige was ich bewusst geändert habe sind Zone Based Firewall-Regeln in meinem Unifi Router und die Aufteilung der VM & Container per VLANs.

eingebunden sind die Freigaben in der fstab wie folgt:

10.0.40.10:/export/sabnzbd /mnt/lxc_shares/sabnzbd nfs noauto,x-systemd.automount,x-systemd.device-timeout=10,defaults 0 0

In OMV sind lediglich insecure, rw, subtree_check mit als Parameter angegeben. Auch ein Test mit async hat keine Verbesserung gebracht.

Hat noch jemand eine Idee, woran es liegen könnte oder was ich testen kann?

Dank und Grüße
 
Schuss ins Blaue - Ich bin eher durch Zufall drauf gestolpert durch einen anderen Thread - es ist aber eine wilde Vermutung - "Write Amplification" bei NAND (musste ich selber googln und kannte ich nicht) - evtl. ist die SSD mehr mit sich selbst "Beschäftigt" ...

[Virtualization Support for SME and NGOs | DLI Solutions ]
 
Wenn du mit iperf von OMV von/zu deinem Ziel nur 1,25Gbit/s hast kann nfs auch nicht schneller (als 150MB/s) werden und insofern erstmal am Netzwerklimit weiter suchen, Fehlersuche am nfs kann jetzt zu keinem besseren Durchsatz führen !!
 
  • Like
Reactions: FrankList80
Aber ich verstehe nicht, warum nur die 1,25 Gbit/s rauskommen.

Prüft iperf unabhängig von irgendwelchen NFS Einstellungen etc.? Sonst müsste ich einmal im Unifi-Forum fragen, evtl. liegt ja auch da irgendwo der Hund begraben...
 
Ja, iperf prüft unabhängig von irgendwelchem NFS. Mir ist nicht klar, wo zwischen du denn die nfs Bandbreite haben möchtest (OMV VM + LXC, OMV VM +pve, PMV VM + PC, ... ??) und wo du mißt.
Rockhound53 said:
10.0.40.10:/export/sabnzbd /mnt/lxc_shares/sabnzbd nfs
Click to expand...
Demnach OMV <--> LXC ..., dann mußt du hier zwischen auch mit iperf "mehr Gb" sehen bzw. schauen wieso da nur 1,25Gb sind, wenn du die Interfaces auf 10Gb bzw 2.5Gb Karten gebridged hast.
 
Außerdem habe ich den PVE und OMV auf die gleiche Linux Bridge (VMBR0) gesetzt und diese mit dem 10 Gbit NIC verbunden:

1738582618527.png
vmbr1 ist der 2,5 Gbit NIC, über den die LXCs laufen.

Nur für mein Verständnis, wenn ich per fstab auf dem PVE-Host die NFS-Freigabe mounte und an den LXC durchreiche, wird es doch von der Geschwindigkeit PVE-Host zu OMV-VM beeinflusst? Die Wetterkarte des LCX hat damit ja dann nichts zu tun?

Daher habe ich halt PVE-Host und OMV über die 10Gbit-NIC angebunden. Ich meine mich auch daran zu erinnern, dass ich damit damals die schnellsten Ergebnisse hatte. Ich habe es auch mal probiert, den PVE-Host über die 2.5Gbit und OMV am 10Gbit, da kamen aber auch nur 1,25Gbit rum.

Ich habe jetzt im Unifi Forum einmal gefragt, ob noch eine Idee hat, woran es liegen könnte. Evtl. ist auch was mit dem SFP-Adapter was nicht in Ordnung, obwohl der 10Gbit angezeigt wird...

Mir fällt aber gerade, wenn ich das Schreibe ein, dass ich einfach das Kabel mal in einen 2,5Gbit Port stecken kann um auszuschließen, dass es das Modul ist. Dann müssten ja wieder ca. 250 Mbit/s beim rauskommen. Das mache ich dann, wenn ich später wieder zu Hause bin.

Viele Grüße
 
Mmh, Kabel umstecken zwischen pve host + omv vm + lxc ..., ääh ... :rolleyes:

Kleine Babyschritte ... Was mißt du denn nun zwischen OMV VM als nfs-server und pve host als nfs client per operf3 und nfs Transfer ?
 
waltar said:
Mmh, Kabel umstecken zwischen pve host + omv vm + lxc ..., ääh ...:rolleyes:

Kleine Babyschritte ... Was hat dir denn nun zwischen OMV VM als nfs-server und pve host als nfs client per operf3 und nfs Transfer gefehlt?
Click to expand...
Hi,

Das ist die Ausgabe bei der OMV-VM:

1738584714080.png

und das hier am PVE-Host:

1738584745091.png

Viele Grüße
 
Ggf. ist das mit der Definition deines Netzwerksegmentswechsels 10.0.30.... und 10.0.40.... aktuell mit einer Bremse versehen, schau mal da.
Testweise geht auch beide mal in 1 segment und da messen.
 
Wir kommen der Sache näher, ich habe Mal iperf von einem LCX, welcher im selben Netzwerksegment ist, wie der PVE-Host (10.0.30.10 zu 10.0.30.11) und habe 2,35 Gbit/s, was logisch ist, da der LXC Über die vmbr1 und den 2,5 Gbit Anschluss läuft.

der Gleiche Test dann gegen die 10.0.40.10 (OMV-VM) gibt dann wieder nur 1,4 Gbit aus...

Also scheint es wirklich irgendwo am Switch und en dortigen Regeln etc. zu hängen.
 
Das ist ja schon mal "quasi gut" das Problem gefunden zu haben, wenn auch noch nicht beseitigt ... :)
 
Bin mal gespannt, ob mir jemand im Unifi-Forum sagen kann, woran das liegen sollte.

Ich habe jetzt auch die OMV-VM in den Adressbereich verschoben und folgende Leistungswerte erhalten, welche aber mit dem 10 Gbit NIC nicht stimmen können:

1738592028243.png
Oder läuft das dann nicht über den Switch, sondern irgendwie intern?
 
Das läuft "pve intern" über virtio (virtuell und damit theo. unbegrenzt) und ist iO bzw. super ! :D
Jetzt hast du dafür aber ein disk I/O Problem, daß du die 38Gbit nicht ausreitzen kannst, oder ?? :cool:
Und beläßt du es nun beides im 30er Segment ... ?:)
 
Bis ich eine Lösung habe, bleibt es auf jeden Fall so, evtl. Mache ich dann ein VLAN für OMV und PVE und packe die anderen VM (HomeAssistant) und LCX, welche ja nicht unbedingt die Leistung brauchen, in ein eigenes VLAN...

Hoffe aber noch irgendwann auf eine Lösung seitens Unifi-Controler.

Ist die Laufwerksgeschwindigkeit auch wieder da, wo ich sie in Erinnerung hatte:

1738593616699.png

Habe ich den Geschwindigkeitsvorteil von 38 Gbit nur, wenn die auch wirklich im selben Netwerbereich sind, oder sollte das so eigentlich auch funktionieren, wenn die in getrennten Vlans sind? Dann wird ja bestimmt die 10Gbit die Grenze sein und der Switch mehr belaster, oder?
 
Wenn du irgendwo einen Engpaß für deine Daten einbaust, wo alles durchlaufen muß, denn ist das das Limit.
10Gbit wären max 1200MB/s, wo du mit deinem disk Array mit 500MB/s noch lange nicht angekommen bist ... :)
 
Ich bin der Sache wieder etwas näher gekommen, wenn ich IDS/IPS für die Vlans im Unifi Network ausstelle, dann bekomme ich über die 2,5 Gbit Schnittstelle ca. 2 Gbit, wenn ich es für die Netzwerke verwende, dann geht es wieder runter auf 1,4x Gbit/s.

Scheint so, als wird der Traffic aus unterschiedlichen Vlans dann analysiert und kostet Leistung, im gleichen VLAN greift das dann wohl nicht und wird so durchgeleitet.

Eigentlich soll die UDM-Pro ja 3,5 Gbit mit IDS/IPS schaffen, würde mich bei dem 10 Gbit zwar weiterhin einschränken, aber komisch ist es schon...
 
Da werden wohl alle bits und bytes per Handschlag begrüßt, das kann natürlich etwas dauern und führt zu Warteschlange und Verzögerungen im Betriebsablauf ... :):p;)
 
Ich habe des Rätsels Lösung:

Ich habe einen Unifi Layer3 Switch, aber die VLANs auf dem Gateway eingerichtet:

1738597610641.png

Ich habe dann bei 2 Netzwerken die L3 Netzwerkmigration gemacht und danach habe ich bei iperf von Vlan 30 nach 32 (jetzt beide am Switch eingerichtet) die 2,34 Gbit/s die über den 2,5Gbit Port gehen:

1738597728886.png

Auch IDS/IPS ist über alle VLANs aktiv.

Ich hoffe, dass es trotzdem so richtig ist.

Werde aber trotzdem den PVE-Host und die OMV-VM im selben VLAN platzieren, damit der Datenverkehr nicht über den Switch läuft...

Danke auf jeden Fall für die Fehlersuche!
 
  • Like
Reactions: waltar
You must log in or register to reply here.
Top Bottom