VM Langsam - obwohl Ressourcen frei sind

[Homwer]

Moin,
ich habe bisher mit KVM direkt unter Debian virtualisiert und bin für meinen neuen HomeServer auf dabei Proxmox zu testen.
Ich nutze zfs auf 4x 16TB im zraid1.
4/8 Core i3 12100 CPU, 32 GB Ram, 500 GB NVME

Das Grundsystem läuft super performant und genau so alle LXC Container.

Mein Problem ist, dass meine VM's (2 stk.) super langsam sind.
Eine läuft direkt im zpool mit einem ext4 Dateisystem LUKS verschlüsselt.
Die andere VM liegt liegt als Ext4 direkt auf der NVME.
Beide haben die Host als CPU eingestellt und alle flags wie AES kommen an und werden erkannt.

Es gibt genug Kerne, jeweils 4, den Maschienen liegt keine Last.
Unter Summary sieht alles gut aus aus sowohl bei dem VM's als auch auf dem Host.
Mein einziger Anhaltpunkt ist dass der RAM der VM's im Summary voll läuft, auf der VM aber als leer angezeigt wird.
PVE Summary hat aber unter 50% Ram Verbrauch.

zpool direkt aus der pve console, im normalen Betrieb.

fio Disk Speed Tests (Mixed R/W 50/50):
---------------------------------
Block Size | 4k            (IOPS) | 64k           (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 55.29 MB/s   (13.8k) | 882.55 MB/s  (13.7k)
Write      | 55.40 MB/s   (13.8k) | 887.19 MB/s  (13.8k)
Total      | 110.70 MB/s  (27.6k) | 1.76 GB/s    (27.6k)
           |                      |                     
Block Size | 512k          (IOPS) | 1m            (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 875.26 MB/s   (1.7k) | 1.43 GB/s     (1.3k)
Write      | 921.77 MB/s   (1.8k) | 1.52 GB/s     (1.4k)
Total      | 1.79 GB/s     (3.5k) | 2.95 GB/s     (2.8k)

VM mit LUKS-Excrypted Ext4 afu dem zpool;

fio Disk Speed Tests (Mixed R/W 50/50):
---------------------------------
Block Size | 4k            (IOPS) | 64k           (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 10.78 MB/s    (2.6k) | 34.09 MB/s     (532)
Write      | 10.78 MB/s    (2.6k) | 34.44 MB/s     (538)
Total      | 21.56 MB/s    (5.3k) | 68.53 MB/s    (1.0k)
           |                      |                     
Block Size | 512k          (IOPS) | 1m            (IOPS)
  ------   | ---            ----  | ----           ----
Read       | 112.03 MB/s    (218) | 101.32 MB/s     (98)
Write      | 117.98 MB/s    (230) | 108.06 MB/s    (105)
Total      | 230.01 MB/s    (448) | 209.39 MB/s    (203)

Beim kopieren übers lokale LAN gehen nicht mehr als 20-40 MB/s.
Prozesse wie apt update & upgrade brauchen ewig.
Der zpool ist in ordnung, die Smart Werte der Platten ok und ich bin ratlos woran es liegen könnte.
Ich hoffe ihr habt ein paar gute Tipps für mich.
Ist Ext4 auf ZFS das Problem? Habe früher nur mit "normalen" Software Raid gearbeitet - da war das kein Thema.

 

[Dunuin]

Ich nutze zfs auf 4x 16TB im zraid1.

Das ist von der Performance her aber auch nicht gerade toll. Nicht vergessen, dass da ein Hypervisor ordentlich IOPS Performance braucht und HDDs schrecklich sind, was das angeht. Und IOPS performance skaliert nur mit der Anzahl der Vdevs, nicht mit der Anzahl der Disks. Trotz 4 HDDs hast du also nur die IOPS Performance einer einzelnen HDD, also irgendwas um die 100 IOPS in Summe.
Die HDDs würde ich da echt nur als Cold Storage für SMB/NFS benutzen und sämtliche Gäste auf SSDs laufen lassen.

Wie sehen denn die Konfig-Dateien deiner VMs aus?
Und ich hoffe du hast die volblocksize angehoben. Mit der standardmäßigen von 8K verschwendest du massig Kapazität. Die würde ich wenigstens auf 16K, vielleicht sogar 64K anheben, damit du nicht zu viel Padding Block Overhead hast.