Schlechte I/O bei iSCSI

MarcelW

New Member
Feb 10, 2019
27
1
3
29
Hallo zusammen,

ich habe auf meinem Host eine iSCSI Platte eingebunden, diese als PV (LVM) angelegt und darauf eine VG erstellt.
Anschließend habe ich die VG in Proxmox als LVM mit allen notwendigen Daten angelegt und kann auch wunderbar darauf zugreifen.

Testweise habe ich eine VM (KVM) darauf gelegt und bin dann sehr von der I/O Performance erschrocken.
Ich komme auf ca. 5 MB/s.

Ich habe dann auf der Hostnode ebenfalls einen Test mit dd gestartet und hier komme ich immer auf ~100 MB/s.

Weiß jemand, woher dieser große Unterscheid Host <-> VM kommt und was ich dagegen machen kann?

P. S. Ich habe iSCSI sowohl über multi als auch über single Pfad ausprobiert, kein Unterschied.

Grüße
 

MarcelW

New Member
Feb 10, 2019
27
1
3
29
Noch eine "komische" Sache:
Ich habe noch zwei VMs, die ihre Festplatte von den lokalen Nodeplatten beziehen.

Auf einem Server dd-Output:
Code:
root@zd:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 17.5558 s, 61.2 MB/s
Auf dem 2.:
Code:
root@zd2:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.6888 s, 636 MB/s
Kann sich das jemand erklären?

--- UPDATE: Ok, in diesem Fall war es nach einem Reboot wieder "sauber"

Gruß
 
Last edited:

LnxBil

Well-Known Member
Feb 21, 2015
4,070
383
83
Germany
Generell ist iSCSI natürlich nicht pralle - war es nie und wird es nie sein - aber man muss ja mit den Mädchen tanzen die da sind ... also:
- Jumboframes aktiv?
- Bitte fio anstelle von dd verwenden (fio kann u.A. auch Multi-Thread usw., dd ist nur für sequentielles Lesen interessant und das hat man eigentlich fast nur wenn man große Dateien wie z.B. Videos lesen will)
- normaler Netzwerkverkehr ist schnell genug, also Bandbreitentechnisch?
- wie sind die Daten auf dem iSCSI-Server abgelegt?
- Hast du andere nicht-PVE-Clients mit denen du mal einen Durchsatztest machen könntest
- Wenn du Multipath verwendest, sind das auch aktiv/aktiv-Pfade?
 

MarcelW

New Member
Feb 10, 2019
27
1
3
29
Hi LnxBil,

es ist eine "Standardkonfiguration" also keine Jumboframes, etc.
Ich möchte nur wissen, wieso der Durchsatz auf dem Host bei 100 MB/s liegt und auf der VM bei nur 5 MB/s.
Bandbreite ist aktuell nur 1 Gbit, was den 100 MB/s auf dem Host ja in etwa entspricht.


Was empfiehlst du, anstelle von iSCSI?
 

LnxBil

Well-Known Member
Feb 21, 2015
4,070
383
83
Germany
Ich möchte nur wissen, wieso der Durchsatz auf dem Host bei 100 MB/s liegt und auf der VM bei nur 5 MB/s.
Oh, dann hab' ich das oben falsch gelesen/interpretiert. Du hast also die Geschwindigkeit am Host, nur nich in der VM.

Dann wäre es interessant wie du deine VM eingestellt hast, welches OS, welche Parameter etc. Bitte die entsprechende Konfigurationsdatei posten (in CODE-Tags für bessere Lesbarkeit). VM-Konfiguration findest du in /etc/pve/qemu-server/<vmid>.conf.

Was empfiehlst du, anstelle von iSCSI?
Natürlich Fiberchannel, aber ohne größere Änderungen in der Hardware wird das nicht klappen.
 

MarcelW

New Member
Feb 10, 2019
27
1
3
29
Hier:
Code:
boot: cdn
bootdisk: scsi0
cores: 4
ide2: none,media=cdrom
memory: 8192
name: vm-test
net1: virtio=26:F6:73:45:9F:6F,bridge=vmbr1,firewall=1,tag=20
numa: 0
onboot: 1
ostype: l26
scsi0: san-vdisk001:vm-506-disk-0,size=117G
scsihw: virtio-scsi-pci
smbios1: uuid=22190e13-a4ba-4e74-9dd8-e0037dc15e24
sockets: 1
vmgenid: 346e10d1-28b8-47b7-a2ed-6ae7744c3c42
 

sb-jw

Active Member
Jan 23, 2018
551
49
28
28
Writeback könnte man noch enable bei der virtuellen Disk.

Es ist aber sicher, dass das file auf dem ISCSI Storage geschrieben wird? Nicht, dass ein mount oder ähnliches weggeflogen ist und der eine daher auf local schreibt. Beide Server haben auch identische Hardware, software und Konfigurationen?
 
  • Like
Reactions: Jiyon

MarcelW

New Member
Feb 10, 2019
27
1
3
29
Mit Cache Writeback habe ich hervorragende Werte:
Code:
root@test-vm:/root# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.35832 s, 455 MB/s
Ja, es wird auf den iSCSI Storage gespeichert/geschrieben.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!