[SOLVED] 16GB Ram VM Problem ?

[proxifoxi]

Ich habe hier gerade ein Intressantes Phänomen

Frisch installiertes Windows 11 (8GB Ram , 4 Kerne, 2060 per PCI Passthrough) - startet Problemlos
Das selbe Windows nun mit 16GB Ram, bringt mir diese komplette Meldung

swtpm_setup: Not overwriting existing state file.
TASK ERROR: start failed: command '/usr/bin/kvm -id 108 -name Windows11-Grafik -no-shutdown -chardev 'socket,id=qmp,path=/var/run/qemu-server/108.qmp,server=on,wait=off' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/108.pid -daemonize -smbios 'type=1,uuid=5a2fa7e0-c0a7-450e-b530-d224f72cc7c1' -drive 'if=pflash,unit=0,format=raw,readonly=on,file=/usr/share/pve-edk2-firmware//OVMF_CODE_4M.secboot.fd' -drive 'if=pflash,unit=1,format=raw,id=drive-efidisk0,size=540672,file=/dev/zvol/ZFS_RaidZ2/vm-108-disk-2' -smp '8,sockets=1,cores=8,maxcpus=8' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vga none -nographic -no-hpet -cpu 'host,hv_ipi,hv_relaxed,hv_reset,hv_runtime,hv_spinlocks=0x1fff,hv_stimer,hv_synic,hv_time,hv_vapic,hv_vendor_id=proxmox,hv_vpindex,kvm=off,+kvm_pv_eoi,+kvm_pv_unhalt' -m 16384 -object 'memory-backend-ram,id=ram-node0,size=16384M' -numa 'node,nodeid=0,cpus=0-7,memdev=ram-node0' -readconfig /usr/share/qemu-server/pve-q35-4.0.cfg -device 'vmgenid,guid=8d2edb7a-fbcc-468a-b9da-6cee5e423e6f' -device 'nec-usb-xhci,id=xhci,bus=pci.1,addr=0x1b' -device 'usb-tablet,id=tablet,bus=ehci.0,port=1' -device 'vfio-pci,host=0000:2e:00.0,id=hostpci0.0,bus=ich9-pcie-port-1,addr=0x0.0,multifunction=on' -device 'vfio-pci,host=0000:2e:00.1,id=hostpci0.1,bus=ich9-pcie-port-1,addr=0x0.1' -device 'vfio-pci,host=0000:2e:00.2,id=hostpci0.2,bus=ich9-pcie-port-1,addr=0x0.2' -device 'vfio-pci,host=0000:2e:00.3,id=hostpci0.3,bus=ich9-pcie-port-1,addr=0x0.3' -device 'usb-host,bus=xhci.0,vendorid=0x05e3,productid=0x0749,id=usb0' -device 'usb-host,bus=xhci.0,vendorid=0x07ca,productid=0x313a,id=usb1' -device 'usb-host,vendorid=0x046d,productid=0xc52b,id=usb2' -device 'usb-host,vendorid=0x1017,productid=0xa003,id=usb3' -device 'usb-host,vendorid=0x4c4a,productid=0x4155,id=usb4' -chardev 'socket,id=tpmchar,path=/var/run/qemu-server/108.swtpm' -tpmdev 'emulator,id=tpmdev,chardev=tpmchar' -device 'tpm-tis,tpmdev=tpmdev' -chardev 'socket,path=/var/run/qemu-server/108.qga,server=on,wait=off,id=qga0' -device 'virtio-serial,id=qga0,bus=pci.0,addr=0x8' -device 'virtserialport,chardev=qga0,name=org.qemu.guest_agent.0' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:8d23d12cbc91' -drive 'file=/dev/zvol/SSD_mirror/vm-108-disk-2,if=none,id=drive-virtio0,format=raw,cache=none,aio=io_uring,detect-zeroes=on' -device 'virtio-blk-pci,drive=drive-virtio0,id=virtio0,bus=pci.0,addr=0xa,bootindex=100' -device 'ahci,id=ahci0,multifunction=on,bus=pci.0,addr=0x7' -drive 'if=none,id=drive-sata1,media=cdrom,aio=io_uring' -device 'ide-cd,bus=ahci0.1,drive=drive-sata1,id=sata1,bootindex=101' -netdev 'type=tap,id=net0,ifname=tap108i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=BA:C9:6F:94:1F:D8,netdev=net0,bus=pci.0,addr=0x12,id=net0' -rtc 'driftfix=slew,base=localtime' -machine 'type=pc-q35-6.1+pve0' -global 'kvm-pit.lost_tick_policy=discard'' failed: got timeout

stelle ich zurück auf 8GB Ram startet es wieder !
Der Host hat 64GB Ram, diese werden auch angezeigt und sind auch fast voll verfügbar da ich gerade mal zum testen alle anderen Container und VMs deaktiviert habe.

Zum gegentesten habe ich das mal eben mit anderen Win11 VMs auf dem Host getestet, das Problem ist direkt nachvollziehbar.
Und auch bei meinem einen Win10 ist das selbe Problem, sowie ich 16GB Ram zuweise erscheint die obige Meldung.

Sodele das ganzen nun einmal mit CentOs getestet und auch hier das Problem, 8GB Ram CentOs bootet problemlos, und mit 16GB kommt als Meldung

TASK ERROR: start failed: command '/usr/bin/kvm -id 201 -name CentOs -no-shutdown -chardev 'socket,id=qmp,path=/var/run/qemu-server/201.qmp,server=on,wait=off' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/201.pid -daemonize -smbios 'type=1,uuid=2e0ed3a2-2871-4c99-9ea8-6bf8e5263a64' -smp '6,sockets=1,cores=6,maxcpus=6' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vga none -nographic -cpu 'host,kvm=off,+kvm_pv_eoi,+kvm_pv_unhalt' -m 16384 -object 'memory-backend-ram,id=ram-node0,size=16384M' -numa 'node,nodeid=0,cpus=0-5,memdev=ram-node0' -readconfig /usr/share/qemu-server/pve-q35-4.0.cfg -device 'vmgenid,guid=cf3cf238-86e2-433b-b70c-86617fc11f7d' -device 'usb-tablet,id=tablet,bus=ehci.0,port=1' -device 'vfio-pci,host=0000:2e:00.0,id=hostpci0.0,bus=ich9-pcie-port-1,addr=0x0.0,x-vga=on,multifunction=on' -device 'vfio-pci,host=0000:2e:00.1,id=hostpci0.1,bus=ich9-pcie-port-1,addr=0x0.1' -device 'vfio-pci,host=0000:2e:00.2,id=hostpci0.2,bus=ich9-pcie-port-1,addr=0x0.2' -device 'vfio-pci,host=0000:2e:00.3,id=hostpci0.3,bus=ich9-pcie-port-1,addr=0x0.3' -device 'usb-host,hostbus=9,hostport=2.1,id=usb0' -device 'usb-host,hostbus=9,hostport=2.2,id=usb2' -chardev 'socket,path=/var/run/qemu-server/201.qga,server=on,wait=off,id=qga0' -device 'virtio-serial,id=qga0,bus=pci.0,addr=0x8' -device 'virtserialport,chardev=qga0,name=org.qemu.guest_agent.0' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:8d23d12cbc91' -drive 'file=/mnt/pve/NAS-ISO/template/iso/CentOS-8.3.2011-x86_64-dvd1.iso,if=none,id=drive-ide2,media=cdrom,aio=io_uring' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=101' -device 'virtio-scsi-pci,id=scsihw0,bus=pci.0,addr=0x5' -drive 'file=/dev/zvol/ZFS_RaidZ2/vm-201-disk-0,if=none,id=drive-scsi0,cache=unsafe,discard=on,format=raw,aio=io_uring,detect-zeroes=unmap' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,rotation_rate=1,bootindex=100' -netdev 'type=tap,id=net0,ifname=tap201i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=E6:64:55:5B:F4:BA,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=102' -machine 'smm=off,type=q35+pve0'' failed: got timeout

Ich bin gerade Ratlos hier noch ein Screenshot vom Host während der Startphase




Mein Hostsystem:

proxmox-ve: 7.1-1 (running kernel: 5.13.19-2-pve)
pve-manager: 7.1-7 (running version: 7.1-7/df5740ad)
pve-kernel-helper: 7.1-6
pve-kernel-5.13: 7.1-5
pve-kernel-5.13.19-2-pve: 5.13.19-4
ceph-fuse: 15.2.15-pve1
corosync: 3.1.5-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve2
libproxmox-acme-perl: 1.4.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.1-5
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-14
libpve-guest-common-perl: 4.0-3
libpve-http-server-perl: 4.0-4
libpve-storage-perl: 7.0-15
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.11-1
lxcfs: 4.0.11-pve1
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.1.2-1
proxmox-backup-file-restore: 2.1.2-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.4-4
pve-cluster: 7.1-2
pve-container: 4.1-2
pve-docs: 7.1-2
pve-edk2-firmware: 3.20210831-2
pve-firewall: 4.2-5
pve-firmware: 3.3-3
pve-ha-manager: 3.3-1
pve-i18n: 2.6-2
pve-qemu-kvm: 6.1.0-3
pve-xtermjs: 4.12.0-1
qemu-server: 7.1-4
smartmontools: 7.2-1
spiceterm: 3.2-2
swtpm: 0.7.0~rc1+2
vncterm: 1.7-1
zfsutils-linux: 2.1.1-pve3

Bin für jeden Tipp Dankbar

Grüße
Eure
Foxi

 

[Dunuin]

Ein Problem könnte dein PCI Passthrough sein. Sobald man das benutzt wird immer der volle RAM fest zugeordnet, da PCI-Geräte über DMA jederzeit direkt auf den kompletten RAM der VM zugreifen können müssen. Die VM muss dann also die kompletten 16GB zum Start initialisieren und vielleicht dauert das bei dir einfach zu lange, dass es da zum Timeout kommt. Könntest du mal gucken ob eine VM mit 16GB ohne PCI Passthrough starten würde.

 

[proxifoxi]

Ein Problem könnte dein PCI Passthrough sein. Sobald man das benutzt wird immer der volle RAM fest zugeordnet, da PCI-Geräte über DMA jederzeit direkt auf den kompletten RAM der VM zugreifen können müssen. Die VM muss dann also die kompletten 16GB zum Start initialisieren und vielleicht dauert das bei dir einfach zu lange, dass es da zum Timeout kommt. Könntest du mal gucken ob eine VM mit 16GB ohne PCI Passthrough starten würde.

Du hast scheinbar recht, hier liegt offensichtlich der Hund begraben..
Ich habe bei einem der VMs die eben noch mit 16GB und GPU-Passthrough nicht booten wollte mal die GPU-Passthrough entfernt und auf VirtIO-GPU gestellt, und siehe da es bootet ohne Probleme...

hmm, gibt es da irgendwo ev. eine Option im Host die man hochsetzen kann damit die VMs auch mit 16GB & GPU-Passthrough arbeiten ??

Grüße
eure
Foxi

 

[Dunuin]

Du kannst es mal mit "hugepages" versuchen. Scheint anderen mit deinem Problem geholfen zu haben:
https://forum.proxmox.com/threads/vm-start-timeout-pci-pass-through-related.28876

 

[proxifoxi]

Du kannst es mal mit "hugepages" versuchen. Scheint anderen mit deinem Problem geholfen zu haben:
https://forum.proxmox.com/threads/vm-start-timeout-pci-pass-through-related.28876

@Dunuin

Ich danke dir vielmals, der zusätztliche Eintrag in /etc/default/grub

"hugepagesz=1G default_hugepagesz=2M"

und ein "update-grub" mit anschließendem Reboot , brachte den Erfolg !

Die VMs starten nun mit GPU-Passthrough und 16GB Ram !

Grüße
eure
Foxi