TrueNAS und Proxmox > VM startet nicht

[gio2022]

Hallo zusammen,
ich fahre diese Version von Proxmox
pve-manager/7.4-13/46c37d9c (running kernel: 5.15.107-2-pve)
Ich habe ein Broadcom HBA 9400-8e der ein JBod bedient mit halb Petabyte brutto Kapazität.

Auf den Server läuft gerade ein einzige VM mit TrueNAS. Dort mache ich ein passtrought der HBA. Die Installation ist super gelaufen und dei Maschine ist auch bist zum letzten update gut gelaufen. FS ist ZFS.
Jetzt startet die VM nicht mehr.
In syslog habe ich keinen Fehler. In Tast active log bekomme ich gesagt, dass ich in einen Timeout reinkommen. Das ist verständlich, weil das lesen der 48 Platten dauert eine gefühlte Ewigkeit.
Hat jemand eine Idee?
Vielen Dank im Voraus,

 

[fabian]

funktioniert es mit qm start XXX --timeout TTT (entsprechend ersetzen )?

ansonsten bitte VM config und task log posten!

 

[gio2022]

Hallo Fabian, danke für super schnelle Antwort.
ehmmm es macht mich "ein wenig Sorge". Die Configfile von 100.conf ist komplett leer jetzt. . . . Ich kann beweisen, dass ich eine hatte ....
Hier die letzte Logs.


UPID:hotstandby:00142627:0237BBEC:64888F1A:qmstart:100:root@pam: 1 64888FE5 start failed: command '/usr/bin/kvm -id 100 -name 'truenas-scale,debug-threads=on' -no-shutdown -chardev 'socket,id=qmp,path=/var/run/qemu-server/100.qmp,server=on,wait=off' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/100.pid -daemonize -smbios 'type=1,uuid=aa7f06bc-8f7f-4a5c-900c-c816107df936' -smp '16,sockets=1,cores=16,maxcpus=16' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vnc 'unix:/var/run/qemu-server/100.vnc,password=on' -cpu kvm64,enforce,+kvm_pv_eoi,+kvm_pv_unhalt,+lahf_lm,+sep -m 153600 -object 'iothread,id=iothread-virtioscsi0' -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' -device 'pci-bridge,id=pci.3,chassis_nr=3,bus=pci.0,addr=0x5' -device 'vmgenid,guid=5182d298-ec31-4e89-b242-68eb38208a96' -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' -device 'vfio-pci,host=0000:84:00.0,id=hostpci0,bus=pci.0,addr=0x10' -device 'VGA,id=vga,bus=pci.0,addr=0x2' -chardev 'socket,path=/var/run/qemu-server/100.qga,server=on,wait=off,id=qga0' -device 'virtio-serial,id=qga0,bus=pci.0,addr=0x8' -device 'virtserialport,chardev=qga0,name=org.qemu.guest_agent.0' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:d9ed19d296b' -drive 'file=/var/lib/vz/template/iso/TrueNAS-SCALE-22.12.2.iso,if=none,id=drive-ide2,media=cdrom,aio=io_uring' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=101' -device 'virtio-scsi-pci,id=virtioscsi0,bus=pci.3,addr=0x1,iothread=iothread-virtioscsi0' -drive 'file=/dev/pve/vm-100-disk-0,if=none,id=drive-scsi0,format=raw,cache=none,aio=io_uring,detect-zeroes=on' -device 'scsi-hd,bus=virtioscsi0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' -netdev 'type=tap,id=net0,ifname=tap100i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=C2:4F:69:21:14:15,netdev=net0,bus=pci.0,addr=0x12,id=net0,rx_queue_size=1024,tx_queue_size=1024,bootindex=102' -machine 'type=pc+pve0'' failed: got timeout

 

[fabian]

bitte den output von "qm config 100" und "pveversion -v" posten.

 

[gio2022]

root@hotstandby:/etc/pve/qemu-server# pveversion -v
proxmox-ve: 7.4-1 (running kernel: 5.15.107-2-pve)
pve-manager: 7.4-14 (running version: 7.4-14/81b856fa)
pve-kernel-5.15: 7.4-3
pve-kernel-5.13: 7.1-9
pve-kernel-5.15.107-2-pve: 5.15.107-2
pve-kernel-5.15.107-1-pve: 5.15.107-1
pve-kernel-5.13.19-6-pve: 5.13.19-15
pve-kernel-5.13.19-2-pve: 5.13.19-4
pve-kernel-4.13.4-1-pve: 4.13.4-26
ceph-fuse: 15.2.17-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: 0.8.36+pve2
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve2
libproxmox-acme-perl: 1.4.4
libproxmox-backup-qemu0: 1.3.1-1
libproxmox-rs-perl: 0.2.1
libpve-access-control: 7.4.1
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.4-2
libpve-guest-common-perl: 4.2-4
libpve-http-server-perl: 4.2-3
libpve-rs-perl: 0.7.7


qm config 100 ist leer

 

[fabian]

das klingt so als haettest du sie unabsichtlich geloescht? das file selbst existiert noch? zum zeitpunkt des start kommandos oben duerfte es ja auch noch inhalt gehabt haben..

wenn du ein backup hast, kannst du daraus die config (oder zumindest eine alte version der config) extrahieren, sonst musst du es wohl aus dem gedaechtnis machen..

 

[gio2022]

Ich habe ziemlich sicher (dieses mal ;-)) nichts gelöscht gelöscht zu haben. Ich war gerade drin, um den Eintrag zu machen, die Du mir empfohlen hattest. Als ich mit vi drin war, war es leer.
Das file existierte noch ... aber es war leer.
Leider habe ich kein alte Backup (das sind die erste schritte in Richtung Truenas) und auf Gedächsnis wäre nicht schwierig. Nur ...

wie bekomme ich wieder die Platte von Truenas mit alle unsere Einstellungen? Gerade sollte ich einen "leiche" haben oder?

 

[fabian]

du hast ja hier oben noch das kommando vom fehlgeschlagenen start:

/usr/bin/kvm -id 100 -name 'truenas-scale,debug-threads=on' -no-shutdown -chardev 'socket,id=qmp,path=/var/run/qemu-server/100.qmp,server=on,wait=off' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/100.pid -daemonize -smbios 'type=1,uuid=aa7f06bc-8f7f-4a5c-900c-c816107df936' -smp '16,sockets=1,cores=16,maxcpus=16' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vnc 'unix:/var/run/qemu-server/100.vnc,password=on' -cpu kvm64,enforce,+kvm_pv_eoi,+kvm_pv_unhalt,+lahf_lm,+sep -m 153600 -object 'iothread,id=iothread-virtioscsi0' -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' -device 'pci-bridge,id=pci.3,chassis_nr=3,bus=pci.0,addr=0x5' -device 'vmgenid,guid=5182d298-ec31-4e89-b242-68eb38208a96' -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' -device 'vfio-pci,host=0000:84:00.0,id=hostpci0,bus=pci.0,addr=0x10' -device 'VGA,id=vga,bus=pci.0,addr=0x2' -chardev 'socket,path=/var/run/qemu-server/100.qga,server=on,wait=off,id=qga0' -device 'virtio-serial,id=qga0,bus=pci.0,addr=0x8' -device 'virtserialport,chardev=qga0,name=org.qemu.guest_agent.0' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:d9ed19d296b' -drive 'file=/var/lib/vz/template/iso/TrueNAS-SCALE-22.12.2.iso,if=none,id=drive-ide2,media=cdrom,aio=io_uring' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=101' -device 'virtio-scsi-pci,id=virtioscsi0,bus=pci.3,addr=0x1,iothread=iothread-virtioscsi0' -drive 'file=/dev/pve/vm-100-disk-0,if=none,id=drive-scsi0,format=raw,cache=none,aio=io_uring,detect-zeroes=on' -device 'scsi-hd,bus=virtioscsi0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' -netdev 'type=tap,id=net0,ifname=tap100i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=C2:4F:69:21:14:15,netdev=net0,bus=pci.0,addr=0x12,id=net0,rx_queue_size=1024,tx_queue_size=1024,bootindex=102' -machine 'type=pc+pve0'

da sollte eigentlich quasi alles drin stehen, bzw. kannst du wenn du die config wieder angelegt hast mit qm showcmd XXX vergleichen..

z.b. zu sehen:
- PCI passthrough: host=0000:84:00.0,id=hostpci0,bus=pci.0,addr=0x10'
- CPU: 1 socket, 16 cores
- CPU type kvm64 (wuerde ich vielleicht aendern uebrigens )
- TrueNAS-SCALE-22.12.2.iso vom local storage im CD laufwerk
- scsi0: vm-100-disk-0 auf vermutlich local-lvm , mit iothread
- memory 153600

mit qm rescan 100 sollte die bestehnde disk wieder als "unused0" in der config stehen, anschliessend kannst du sie dann auf scsi0 attachen

 

[gio2022]

also es geht sehr viel schief gerade :-(.
qm rescan --vmid 100

root@hotstandby:/dev# du -hs dm*
0 dm-0
0 dm-1
0 dm-2
0 dm-3
0 dm-4
0 dm-5
0 dm-6
0 dm-7
0 dma_heap
root@hotstandby:/dev#
ncdu 1.15.1 ~ Use the arrow keys to navigate, press ? for help
--- /dev/pve ----------------------------------------------------------------------------------------------------------------
@ 0.0 B [ ] vm-100-disk-1
@ 0.0 B [ ] vm-100-disk-0
@ 0.0 B [ ] swap
@ 0.0 B [ ] root

Die Disks scheinen im Heimer zu sein...
Ich werde alles noch mal installieren. . . aber es wird sicher nicht in Produktion gehen... es ist ein Alptraum, sowas zu verlieren.

Ich würde gerne sicher sein, dass ich keine Leiche von 100 habe. Wo soll ich alles löschen?

 

[fabian]

das sind die falschen befehle um block devices anzuschauen. was sagt denn "lvs"?

 

[gio2022]

oh, wie peinlich .
Ich muss mir den Server etwas genaueres anschauen, ich habe ein kleines zoo mit LVM und ZFS und Ceph.

Aber qm rescan --vmid 100 ist trotzdem leer.
Ich installiere die VM neu. Wir sind noch nicht produktiv. Dann werde ich einiges Reboot testen und schauen, ob ich die Config wieder verliere.
Danke für Deine Hilfe

 

[fabian]

ist die storage.cfg denn noch da ("pvesm status"?)? irgendwie klingt das sehr mysteriös..

 

[gio2022]

Hallo Fabian, ich war in Urlaub. Heute habe ich mich wieder mit den Thema beschäftigt.
Ich hatte alle VMs einfach gelöscht. Gerade habe ich eine neue Erzeugt. Ich sehe komische Fehler in Fips. Aber dann lässt sich die Installation durchführen. Ich experimentiere mti dem Timeout. qm start 100 --timeout 140 startet die VM genauso wie mit 14000.

In der Doku bin ich ein Tick verwirrt. Was ist genau der max? 30*meine Memory?
--timeout <integer> (0 - N) (default = max(30, vm memory in GiB))
Wait maximal timeout seconds.
Danke in Voraus,
Giovanna

 

[fabian]

nein, 30s oder, falls die VM viel RAM hat, soviel wie RAM in GB.

 

[gio2022]

Hello Fabian,
bei der erste Einrichtung von Passtrough sind nicht alle nötige Schritte gemacht worden.
Das hat allerding eine Weile funktioniert (bis reboot).

Jetzt habe ich das Howto von https://pve.proxmox.com/wiki/PCI_Passthrough komplett gefolgt.

Es sieht so aus, als ob alles gut wäre. Ich habe meine separate Gruppe (siehe Attachment).
Aber bei booten, wird am Ende die SCSI Device gelöscht.

Erst scheint alle Platten des JBOD zu erkennen. Drive: DEVICESCAN, implied '-a'

Dann fangen die Fehler an:

Jul 11 15:43:18 hotstandby ledmon[22789]: ledmon[22789]: failed to initialize enclosure_device /sys/devices/pci0000:80/0000:80:03.0/0000:84:00.0/host11/port-11:0/expander-11:0/port-11:0:25/end_device-11:0:25/target11:0:24/11:0:24:0/enclosure/11:0:24:0
am Ende
...
Jul 11 15:43:18 hotstandby ledmon[22789]: ledmon[22789]: failed to initialize enclosure_device /sys/devices/pci0000:80/0000:80:03.0/0000:84:00.0/host11/port-11:0/expander-11:0/port-11:0:25/end_device-11:0:25/target11:0:24/11:0:24:0/enclosure/11:0:24:0
...
mpt3sas_cm1: mpt3sas_transport_port_remove: removed: sas_addr
...
Device: /dev/sdag, removed SCSI device: No such device

Hast Du eine Idee?
Danke in Voraus,

 

[fabian]

bitte die VM config und boot logs vom hypervisor und der VM posten!

 

[gio2022]

Hallo Fabian,
da sind sie.
Syslog als Attachment.

agent: 1
balloon: 0
boot: order=scsi0;net0
cores: 6
hostpci0: 0000:84:00
memory: 145000
meta: creation-qemu=7.2.0,ctime=1688980023
name: truenasscale
net0: virtio=c2:4f:69:21:14:15,bridge=vmbr0
numa: 0
ostype: l26
scsi0: local-lvm:vm-100-disk-0,iothread=1,size=64G
scsihw: virtio-scsi-single
smbios1: uuid=40d8dd69-1400-45a2-8d27-80f40c00dd64
sockets: 2
tags:
vmgenid: 76e33ecd-4ea2-4b3c-b2a2-15a673b2d769

~

 

[gio2022]

 

[gio2022]

 

[fabian]

hotstandby ist der PVE host? oder die VM? kannst du vielleicht noch probieren, die zugehoerigen kernel module (mpt3sas?) auf host seite zu blocklisten und dann zu rebooten?

dass das HBA vom PVE host verschwindet wenn du die VM startest ist normal..