[SOLVED] NFS von lokalen PVE-ZFS in KVM mounten - auch 10 Gigabit?

fireon

Distinguished Member
Oct 25, 2010
4,120
387
153
41
Austria/Graz
iteas.at
Hallo Leute,

wenn man bei den VM's überall Virtio als Netzwerktreiber benutzt hat man ja 10 Gigabit und falls der Datenspeicher das mit spielt macht das ganz schön was her. Wenn ich nun per NFS ein ZFS Dataset freigebe und auf einer VM einhänge, ist dann diese Geschwindigkeit auch irgendwie möglich, oder geht das nur von VM zu VM? Also wenn der NFS Export am gleiche Host liegt.
 
das sollte so schnell gehen wieviel der storage her gibt.

in diesem fall is keine echte netzwerkhardware involviert und der virtio netzwerk adapter limitiert nicht künstlich

hab mal lokal eine virtuelle pfsense mit virtio nics mit iperf getestet (also ein virtuelles lan) und habe geschwindigkeiten von ca. 30Gbit bekommen -> da war halt die cpu der limitierende faktor
 
hmm, ok das klingt wirklich gut, ich werd das event. sogar heut noch austesten. Bis dahin. Lieben Dank!
 
So, test gemacht. Also so ganz scheint da wohl was nicht zu passen. Wenn ich von VM zu VM kopiere (Ubuntu 16.04) mit rsync dann bekomme ich trotz 10 Gigiabit Atapter von Virtio nur 65-80MB/s zusammen. Hier geht die CPU bei 8 Kernen auf 65-70%. Wenn ich zwischen dem lokalen ZFSstorage wo die VMs liegen hin und her kopieren bekomme ich gut 250 MB/s zusammen. Wobei die CPU nicht wirklich viel tut. Es ist hier ein Raid10 mit 8 WD Red.

Wenn ich zwischen den Raids mit rsync von VM zu VM kopiere. Also eine VM liegt auf nem SSDraid und die andere am HDDraid geht auch nicht mehr wie 95MB/s. CPU hier wieder bei 65-80%

I/O delay bin ich da bei 25, hmm... komisch hat auch nen Enterprise SSD cache, wenn ich das ganze mit NFS teste geht es noch langsamer so um die 50MB/s, dafür ist die CPUlast ganz unten aber I/O delay noch auf 11.
 
Last edited:
Wenn ich zwischen dem lokalen ZFSstorage wo die VMs liegen hin und her kopieren bekomme ich gut 250 MB/s zusammen. Wobei die CPU nicht wirklich viel tut. Es ist hier ein Raid10 mit 8 WD Red.
innerhalb des gleichen zpools? wenn ja, ist das auch klar, da muss zfs ja nicht viel machen ausser referenzen hochzählen

oder meinst du zwischen 2 pools? wieder mit rsync oder anders?
 
kleines update:

zfs muss nicht nur referenzen hochzählen (das war falsch), sondern die daten kopieren

trotzdem stellt sich die frage wie genau nun gemessen wird
 
oder meinst du zwischen 2 pools? wieder mit rsync oder anders?
ja zwischen den zwei Pools. Jeweils eine VM pro Pool. Gemessen wurde mit rsync, also der Durchschnittswert was am Schluss angezeigt wird.

Aber mittlerweile (hab auch einen Supportfall bei euch offen) habe ich schon sooooooo viel mit ZFS probiert und getestet und komme schön langsam zur Annahme das man es definitiv mit Hardware tot schlagen muss. 8 normal SATA Platten im Raid 10 mit nem fetten SAS Controller sind einfach zu wenig um die volle Geschwindigkeit; auch der Platten zu erreichen. Da ZFS ja mal dor mal da schreibt, wo eben grad was frei ist, auch mehr RAM und CPU benötigt. Es schreibt auch doppelt, dachte aber das man das mit ner guten Enterprise SSD abfängt, tut es auch aber nicht so wie gehofft.

Dagegen das SSD Raid geht natürlich voll ab :) ... liegen halt nur die Steamspiele drauf :) :) :)
Wenn die SSD's mal endlich wieder billiger werden würden... wäre es ja auch ein leichtes.

Fazit nur mehr SSD Raids dann gibt es keine Probleme. Eigentlich schade. Aber so hat ZFS zum Glück wesentlich mehr Vorteile die ich als puren Luxus bezeichne. Da verzichte ich lieber auf die Geschwindigkeit.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!