Hat sich erledigt, nach langem probieren habe ich es jetzt zumindest mit einer Mint und Ubuntu Installation laufen. Debian wollte nicht.
Hiermit:
args: -device vfio-pci,host=00:02.0,addr=0x2,x-igd-opregion=on
maschine: q35
vga: none
funktioniert es.
Das hier steht noch im Log beim Starten...