Proxmox GPU Setup

[janosch1337]

Hallo,

Hardware:
AMD Ryzen 9 3950X 16-Core Processor
64gb RAM
Quattro RTX4000
2x 500GB SATA SSD (consumer)
2x 1TB Samsung 980 Pro m2 SSD

Aktuell ist die Kiste auf proxmox 6 installiert mit zfs.

VM1: 16GB RAM mit GPU Passthrough Windows 10 (wird lokal und spontan per RDP verwendet - wird für 3D anwendungen unity verwendet)
VM2: 8GB Windows 10 (wird per rdp verwendet)
VM3: 8GB Windows 10 (wird per rdp verwendet)

Grundsätzlich funktioniert die Kiste. Aber ab und an sind die IODelays recht hoch und wir sind mit der Leistung nicht so 100prozentig zufrieden. Ab und an werden dann die VMs recht langsam. ZFS beansprucht ja auch viel RAM und der ist dann 60/64gb belegt... hab mich auch bisschen durch die foren gelesen und ich glaub bei den SSDs die ich verwende, hätte ich besser kein ZFS genommen?! Uns ist auch die Performance wichtiger als Datensicherheit (es soll ein backup wöchentlich nächtlich gemacht werden)

nun zu meiner frage.. was würdet ihr mir empfehlen um die Performance zu steigern? soll ich die Kiste auf ext4 neu installieren? Aktuell nutze ich ja mit den VMs nur 32 von 64GB Ram. Da wird in Zukunft auch noch die ein oder andere VM dazukommen.

LG

 

[Matthias.]

Wie sind die VMs konfiguriert? Da kann man evtl einiges rausholen. qm config VMID
ZFS benutzt den RAM als cache, wenn er sonst nicht benutzt wird. Solang nichts crasht, sollte das passen.

 

[B.Otto]

2x 500GB SATA SSD (consumer)
2x 1TB Samsung 980 Pro m2 SSD

Hallo,

das sind beides Consumer-SSDs, das 'Pro' im Namen bedeutet bei den Samsung-SSDs nicht viel...

Consumer-SSDs sind generell nicht für Hypervisoren geeignet - und für ZFS auch nicht. Ich würde hier empfehlen, auf Enterprise-SSDs zu wechseln. Zu diesem Thema gibt es unzählige Beiträge hier, aber der Upshot ist:

• Consumer-SSDs sind nur so lange schnell, bis ihr (kleiner) SLC Cache voll ist. Danach bricht die Performance ein - und QLC-SSDs sind oft so langsam wie HDDs!
• Enterprise-SSDs haben Power-Loss-Protection (PLP). Entgegen dem Namen bringt PLP auch einen großen Performancevorteil, denn ohne PLP werden async-writes nicht gecached.
• Enterprise-SSDs haben zwar höhere Anschaffungskosten, aber betrachtet man den Preis pro geschriebenes TB sind diese ein ganzes Stück günstiger als Consumer-SSDs.
• Falls das trotzdem zu viel ist kann man darüber nachdenken, gebrauchte Enterprise-SSDs zu kaufen.

Um einen Eindruck über die Performanceunterschiede zu bekommen kannst du ja mal einen Blick in den (offiziellen) Proxmox ZFS Benchmark werfen:
https://forum.proxmox.com/threads/proxmox-ve-zfs-benchmark-with-nvme.80744/

Viele Grüße,
Benedikt

 

[janosch1337]

agent: 1,fstrim_cloned_disks=1
bios: ovmf
boot: order=virtio0;ide2;net0;ide0
cores: 6
cpu: host,hidden=1,flags=+pcid
efidisk0: VM:vm-101-disk-0,size=1M
hostpci0: 2d:00,x-vga=on,pcie=1,romfile=TU104_fixed.rom
hostpci1: 0000:29:00,pcie=1
ide0: none,media=cdrom
ide2: none,media=cdrom
machine: pc-q35-6.1
memory: 16768
name: Jan
net0: virtio=32:D9:76:DF:6B:CF,bridge=vmbr0,firewall=1
net1: virtio=F2:E7:46:94:B5:B4,bridge=vmbr0,firewall=1
net2: virtio=06:47:05:5F:F5:C1,bridge=vmbr0,firewall=1
net3: virtio=22:5D:AB:C7:70:8D,bridge=vmbr0,firewall=1
numa: 0
onboot: 1
ostype: win10
scsihw: virtio-scsi-pci
smbios1: uuid=b61b77d8-28b0-416c-8b69-50d511e5da53
sockets: 1
usb0: host=413c:2107,usb3=1
usb1: host=0461:4e22,usb3=1
virtio0: VM:vm-101-disk-1,cache=writeback,size=300G
virtio1: VM:vm-101-disk-2,size=512M
vmgenid: f8fc4624-5156-4f07-ba9c-26af1faee008

@B.Otto danke! aber leider muss ich mit der HW auskommen die ich habe.

 

[Matthias.]

Controller auf SCSI Single wechseln und bei den disks iothread aktivieren könnte bei IO probleme helfen
https://pve.proxmox.com/wiki/Performance_Tweaks#Windows hat auch ein paar infos