HBA in anderen PCIe-Slot-> ext4-fs error device-dm1

[Pulverizer]

Hallo Community,
ich habe eine HBA mit Passthrough für TruenasVM im Slot PCIe 3.0x16 und würde dafür gerne den anderen freien verwenden, damit er für z.b. eine 10G Karte frei ist.

Nach Umstecken in den anderen PCIe-Slot gibts den Fehler:
EXT4-fs error (device-dm1): __ext4_find_entry:1613: inode #2383049: comm server: reading directory lblock 0
Remounting filesystem read-only
ext4_do_writepages: jbd2_start: 9223372036854775028 pages, ino 2360599; err -30

Nach Recherche und umstellen Im Reiter Hardware der TrueNASVM auf rombar=0 gibt diesen den Fehler:
EXT4-fs error (device dm-1): ext4_journal_check_start:87: comm systemd-journal: detected aborted journal
Remounting filesystem read-only


Im Slot PCI3 3.0x16 funktioniert wieder alles wie gehabt. Hier komme ich leider nicht weiter und würde mich über weitere Tipps dazu freuen.
MfG

 

[Pulverizer]

hier noch die IOMMU Tabelle des Geräts, gleich der erste Eintrag ist die Karte ASM1166 SATA Controller

 

[Pulverizer]

Hat niemand einen Tipp für mich?

 

[Falk R.]

Was für ein Slot ist das denn? Auch PCIe3? Wie viele Lanes hat der? Alte Server hatten auch mal Slots mit nur 4 beschalteten Lanes und das mag ein HBA der 8 Lanes benötigt, nicht.

 

[Bu66as]

Hallo @Falk R.,

der Hinweis mit den Lanes ist wichtig, aber das Log zeigt hier ein noch viel kritischeres Problem: Der Fehler EXT4-fs error (device-dm1) bedeutet, dass das Dateisystem des Proxmox-Hosts (Root liegt meist auf einem LVM-Volume wie dm-1) crasht und "read-only" geschaltet wird.

Das ist ein klassisches Symptom für einen IOMMU-Konflikt. Durch den Slot-Wechsel liegt der HBA im neuen Slot sehr wahrscheinlich in derselben IOMMU-Gruppe wie der Controller deines Host-Bootlaufwerks (oder eines anderen systemkritischen Geräts). Sobald die VM startet und den HBA per Passthrough "greift", wird dem Host der Zugriff auf seinen eigenen Storage-Controller entzogen und er stürzt ab.

@Pulverizer, bitte prüfe unbedingt die IOMMU-Gruppierung für den neuen Slot. Dein HBA darf sich keine Gruppe mit dem System-Datenträger oder anderen Host-Komponenten teilen.