Okay, das war's... falls jemand das gleiche Problem haben sollte, funktioniert die Lösung folgendermaßen:
Sobald man ein PCI-Device an die VM durchleitet, wird das Device an den Treiber vfio-pci gebunden.
Mein Fehler war, dass ich das Device nach dem unbind erneut mit diesem Treiber verbunden...