Ceph Geschwindigkeit als Pool und als KVM

[RRR]

Hallo!

Wir haben einen Ceph-Cluster mit 2 Pools ( SSDs und NVMe's ).
In einem Rados benchmark Test ist wie zu erwarten der NVME Pool viel schneller als der SSD Pool .

NVMe Pool:
Schreiben: BW 900 MB/s IOPS: 220
Lesen: BW 1400 MB/s IOPS: 350

SSD Pool:
Schreiben: BW 190 MB/s IOPS: 50
Lesen: BW 800 MB/s IOPS: 200

Soweit so gut.

Aber sobald ich einen Performance Test in einer KVM mache, gibt es kaum Unterschiede
(Durchschnittswerte von mehreren KVM mit VirtIO SCSI Controller auf verschiedenen identen nodes):

NVMe Pool:
DD Write: 259
Lesen: 1.5 GB/s

SSD Pool:
DD Write: 235
DD Read: 1.4 GB/s

Also im Ceph Rados Test sehen wir den erwarteten Unterschied, aber sobald wir in einer KVM testen, haben wir kaum einen Unterschied, egal ob die KVM in SSD Pool oder NVME Pool liegt.

Die genauen Testresultate habe ich im Thead: https://forum.proxmox.com/threads/ceph-performance-understanding.88780/ gepostet.
Da dort aber kein Feedback mehr gekommen ist versuche ich es hier im deutschen Forum.

Hat jemand eine Idee woran das liegen könnte?