[SOLVED] Lesegeschwindigkeit Hypervisor vs VM

showiproute

Well-Known Member
Mar 11, 2020
601
30
48
35
Austria
Hallo & Servus,

ich habe ein Problem mit der Lesegeschwindigkeit eines ZFS RAID 10 in einer VM: Wenn ich Daten innerhalb der VM auf eine andere Platte/einen anderen Host kopieren möchte, dann sinkt die Übertragungsgeschwindigkeit auf ~ 10 MB/s.
Mir ist es aufgefallen, da ich tägliche Backups innerhalb der VMs mit Veeam durchführe.

Die Platten selbst wären vier Stück 2.5" Seagate Barracuda 2TB (leider mit SMR).


Ich hatte die Platten vorher über einen RAID Controller als ein logische Volumen zusammengebunden und dann via LVMthin in Proxmox erfasst.
Hier war die Übertragungsgeschwindigkeit normal.


Interessanterweise kann ich direkt auf Hypervisor-Ebene (also direkt auf Proxmox) Daten mit normaler Geschwindigkeit hin und her kopieren - ohne dass die Geschwindigkeit einbricht.


Die Platten hängen aktuell an einem neuen SAS HBA, da ich die Hardware meines Server modernisiert habe:

Code:
NAME                                 STATE     READ WRITE CKSUM
Cloud                                ONLINE       0     0     0
  mirror-0                           ONLINE       0     0     0
    ata-ST2000LM015-2E8174_WDZPE6WG  ONLINE       0     0     0
    ata-ST2000LM015-2E8174_WDZQ0XP3  ONLINE       0     0     0
  mirror-1                           ONLINE       0     0     0
    ata-ST2000LM015-2E8174_WDZPE7B5  ONLINE       0     0     0
    ata-ST2000LM015-2E8174_WDZPE878  ONLINE       0     0     0




Wüsste irgendjemand, wodurch dieser Gap Hypervisor vs. VM entsteht?


Vielen Dank & schöne Grüße
 
(leider mit SMR).
Die würde ich sehr schnell gegen non SMR austauschen. Gerade ZFS und SMR verstehen sich oft nicht gut. Spätestens bei einem resilver dürfte es wohl ernsthafte Probleme geben so wie ich die SMR Problematik kenne.

Wenn ich Daten innerhalb der VM auf eine andere Platte/einen anderen Host kopieren möchte, dann sinkt die Übertragungsgeschwindigkeit auf ~ 10 MB/s.
Verstehe ich das richtig? Backup innerhalb der VM auf einen anderen physischen host und die Lesegeschwindigkeit bricht ein?
Wie ist die VM konfiguriert? qm config <vmid>
 
Servus @aaron ,

ja, das mit dem SMR Problem ist mir bewusst - allerdings primär in Richtung "Writes" und weniger in Richtung "Reads".
Ich bin hier schon am Überlegen, welche CMR HDDs ich als Ersatz beschaffen werde.


Bezüglich
Verstehe ich das richtig? Backup innerhalb der VM auf einen anderen physischen host und die Lesegeschwindigkeit bricht ein?
Wie ist die VM konfiguriert? qm config <vmid>

Nein, der andere Host ist auch virtualisierter Windows 2019 Server.
Als Hypervisor läuft hier Proxmox.
Die HDD hierbei ist eine ZFS 3.5" SATA Platte auf der ich in der VM ReFS nutze.

In der VM bricht aber generell die Lesegeschwindigkeit ein, wenn ich Daten von der virtuellen Festplatte (ist in der VM als ext4 formatiert) kopiere.
Auf dem Hypervisor selbst habe ich keine derartigen Leseprobleme wenn ich Daten aus dem ZFS RAID kopiere - da läuft es einwandfrei.
 
Die Konfiguration wäre wie folgt:

Code:
agent: 1
boot:
cores: 8
cpu: host
ide2: none,media=cdrom
machine: q35
memory: 24576
name: WWWServer
net0: virtio=9A:99:0E:53:49:BB,bridge=vmbr0,firewall=1,tag=20
numa: 1
onboot: 1
ostype: l26
scsi0: SSD_NVMe:vm-110-disk-0,discard=on,size=100G,ssd=1
scsi1: Cloud:vm-110-disk-1,discard=on,size=3T
scsihw: virtio-scsi-pci
smbios1: uuid=e6562702-0772-4259-9777-35b1c6aacaef
sockets: 1
vga: qxl
vmgenid: 3a66adcd-3208-47fe-948c-8d7e74b0253a
 
Hmm okay, bei 2TB und 2.5" gibts laut Geizhals noch die Exos die CMR sein sollten, ansonsten bleibt einem langsam aber sicher wohl nur noch über, SSDs zu nehmen. Ich hab letzten Sommer noch Toshiba MQ03ABB300bekommen welche 3TB 2.5" CMR sind. Diese sind aber nicht mehr auf Geizhals gelistet...

Zur Problematik. Vom ZFS Storage wird also nur gelesen, geschrieben wird auf ein anderes. Was du probieren könntest wäre, den SCSI controller auf "Virtio SCSI single" zu wechseln. Damit sollte dann jede VM disk einen eigenen Thread bekommen der das IO handhabt.
 
Ja, Geizhals habe ich heute auch schon befragt, was es da so gibt.
SSDs wären eine Option - vor allem preiswerter.

Ich verschiebe momentan gerade die virtuelle Disk auf den 2. Server (dort habe ich deinen ZFS RAIDz1) via NFS Share und würde mir die SMRs nochmals bezüglich Perfomance ansehen.
Eventuell statt RAID10 ein RAIDz2 Verbund.

Sollten alle Stricke reißen, werde ich mir wohl oder übel neue Platten zulegen müssen.


Den Tipp mit Virtio SCSI single werde ich auch probieren.
Was mir gestern nur am Server selbst aufgefallen ist, ist das bekannte ZFS + "task txg_sync blocked for more than 120 seconds" Thema.
Ich habe mich dann aber auch noch mit sync=disabled gespielt aber alles erfolglos.
 
@aaron: Gäbe es eurerseits irgendwelche Empfehlungen bezüglich einer SSD?
Ich würde das primär als RAID Verbund benötigen, wo Daten aus einer Nextcloud Applikation abgelegt und abgerufen werden können.
 
Ich habe mir jetzt testweise 2x 2TB WD Red NAS SSDs genommen. Schauen wir mal, ob die etwas können.
Ich kann gerne eine Review verfassen, ob sie für einen ZFS RAID Verbund nutzbar sind oder nicht.
 
Gäbe es eurerseits irgendwelche Empfehlungen bezüglich einer SSD?
Auf spezifische Modelle? Nicht wirklich. Schau grundsätzlich auf gute Schreib und Lesegeschwindigkeiten. QLC ist der Teufel. Datacenter SSDs die eine hohe TBW haben sind gut (im PB bereich) und halten lange.

Ich weiß, dass manche hier in der Community auch gerne gebrauchte Datacenter SSDs kaufen, da die preislich interessant sind und meistens noch mehr als genug Restleben in sich haben.
 
Ich habe mir jetzt die beiden Platten geordert - dürften für meine Anforderung (geringe Schreibraten/höhere Leseraten) geeignet sind.

Für meinen 2. Server (der nur LFF HDDs nutzt) hätte ich mich jetzt mal bezüglich Intel Optane 900P umgeschaut.
Die ist glaube ich eh so ein "Standard" Produkt für ZFS Cache SSD.
 
Für meinen 2. Server (der nur LFF HDDs nutzt) hätte ich mich jetzt mal bezüglich Intel Optane 900P umgeschaut.
Die ist glaube ich eh so ein "Standard" Produkt für ZFS Cache SSD.
Ja, Optane ist super als Cache. Die Frage ist eher ob ein ZFS Cache lohnt. In den meisten Fällen ist man besser bedient wenn man einfach ganz von HDDs auf SSDs umstellt oder wenigstens beides getrennt betreibt und dann die SSDs für das nimmt was schnell sein muss (DBs, Storage für VMs, Swap usw.) und die HDDs dann nur als Cold Storage (SMB Shares, Datenverzeichnis der Nextcloud und so).
 
@Dunuin Für 2.5" gebe ich dir Recht, auf meinem anderen Server, wo ich Optane vorgesehen hätten, läuft nur 3.5" mit ~50 TB RAW in verschiedenen ZFS Konstellationen.

Es gibt zwar mittlerweile auch sehr große Flashsspeicher, allerdings sehr teuer.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!