Schlechte I/O bei iSCSI

[MarcelW]

Hallo zusammen,

ich habe auf meinem Host eine iSCSI Platte eingebunden, diese als PV (LVM) angelegt und darauf eine VG erstellt.
Anschließend habe ich die VG in Proxmox als LVM mit allen notwendigen Daten angelegt und kann auch wunderbar darauf zugreifen.

Testweise habe ich eine VM (KVM) darauf gelegt und bin dann sehr von der I/O Performance erschrocken.
Ich komme auf ca. 5 MB/s.

Ich habe dann auf der Hostnode ebenfalls einen Test mit dd gestartet und hier komme ich immer auf ~100 MB/s.

Weiß jemand, woher dieser große Unterscheid Host <-> VM kommt und was ich dagegen machen kann?

P. S. Ich habe iSCSI sowohl über multi als auch über single Pfad ausprobiert, kein Unterschied.

Grüße

 

[MarcelW]

Noch eine "komische" Sache:
Ich habe noch zwei VMs, die ihre Festplatte von den lokalen Nodeplatten beziehen.

Auf einem Server dd-Output:

root@zd:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 17.5558 s, 61.2 MB/s

Auf dem 2.:

root@zd2:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.6888 s, 636 MB/s

Kann sich das jemand erklären?

--- UPDATE: Ok, in diesem Fall war es nach einem Reboot wieder "sauber"

Gruß

 

[LnxBil]

Generell ist iSCSI natürlich nicht pralle - war es nie und wird es nie sein - aber man muss ja mit den Mädchen tanzen die da sind ... also:
- Jumboframes aktiv?
- Bitte fio anstelle von dd verwenden (fio kann u.A. auch Multi-Thread usw., dd ist nur für sequentielles Lesen interessant und das hat man eigentlich fast nur wenn man große Dateien wie z.B. Videos lesen will)
- normaler Netzwerkverkehr ist schnell genug, also Bandbreitentechnisch?
- wie sind die Daten auf dem iSCSI-Server abgelegt?
- Hast du andere nicht-PVE-Clients mit denen du mal einen Durchsatztest machen könntest
- Wenn du Multipath verwendest, sind das auch aktiv/aktiv-Pfade?

 

[MarcelW]

Hi LnxBil,

es ist eine "Standardkonfiguration" also keine Jumboframes, etc.
Ich möchte nur wissen, wieso der Durchsatz auf dem Host bei 100 MB/s liegt und auf der VM bei nur 5 MB/s.
Bandbreite ist aktuell nur 1 Gbit, was den 100 MB/s auf dem Host ja in etwa entspricht.


Was empfiehlst du, anstelle von iSCSI?

 

[LnxBil]

Ich möchte nur wissen, wieso der Durchsatz auf dem Host bei 100 MB/s liegt und auf der VM bei nur 5 MB/s.

Oh, dann hab' ich das oben falsch gelesen/interpretiert. Du hast also die Geschwindigkeit am Host, nur nich in der VM.

Dann wäre es interessant wie du deine VM eingestellt hast, welches OS, welche Parameter etc. Bitte die entsprechende Konfigurationsdatei posten (in CODE-Tags für bessere Lesbarkeit). VM-Konfiguration findest du in /etc/pve/qemu-server/<vmid>.conf.

Was empfiehlst du, anstelle von iSCSI?

Natürlich Fiberchannel, aber ohne größere Änderungen in der Hardware wird das nicht klappen.

 

[MarcelW]

Hier:

boot: cdn
bootdisk: scsi0
cores: 4
ide2: none,media=cdrom
memory: 8192
name: vm-test
net1: virtio=26:F6:73:45:9F:6F,bridge=vmbr1,firewall=1,tag=20
numa: 0
onboot: 1
ostype: l26
scsi0: san-vdisk001:vm-506-disk-0,size=117G
scsihw: virtio-scsi-pci
smbios1: uuid=22190e13-a4ba-4e74-9dd8-e0037dc15e24
sockets: 1
vmgenid: 346e10d1-28b8-47b7-a2ed-6ae7744c3c42

 

[LnxBil]

Hmm ... sieht alles normal aus.

 

[sb-jw]

Writeback könnte man noch enable bei der virtuellen Disk.

Es ist aber sicher, dass das file auf dem ISCSI Storage geschrieben wird? Nicht, dass ein mount oder ähnliches weggeflogen ist und der eine daher auf local schreibt. Beide Server haben auch identische Hardware, software und Konfigurationen?

 

[MarcelW]

Mit Cache Writeback habe ich hervorragende Werte:

root@test-vm:/root# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.35832 s, 455 MB/s

Ja, es wird auf den iSCSI Storage gespeichert/geschrieben.