Ahhh. Die /etc/modprobe.d/kvm.conf hat bei mir komplett gefehlt, hatte nur die /etc/modprobe.d/vfio.conf. In dieser steht zusätzlich zu deiner Angabe folgendes:
options vfio-pci ids=1002:6798,1002:aaa0 disable_vga=1
Im Grub hab ich zusätzlich folgendes stehen, um den Host nicht von der ersten...