ACPI Probleme

[maxmax27]

Hallo Community,

ich bin eher der Mitleser und Google Benutzer allerdings komme ich bei meinem Problem dieses mal so nicht weiter und hoffe auf eure Hilfe.
Ich benutze die aktuelle Version, die ich seit Version 5 immer aktualisiert habe.
Meine Basis ist ein 6700K auf einem MSI Z170A mit 32GB Speicher auf den ich mal umgezogen bin.
Nachdem irgendwann die 6 Sata-Anschlüsse belegt waren, habe ich mir eine Erweiterungskarte für Sata geholt.

"MZHOU PCIe SATA Card 8 Port, PCIe to SATA Controller Expansion Card, 6 Gbit/s SATA 3.0 PCIe Card with 8 SATA Cables, Marvell 88SE9215 + JMicron JMB5xx 8-Port chip, Support for HDD or SSD"​

Die auch läuft. Allerdings muss ich im grub den Eintrag "acpi=off" hinzufügen da sonst meine HDD´s mit einem Fragezeichen im Webinterface angezeigt werden und die
Verbindung abbricht.
Das war bis jetzt ok für mich. Nun möchte ich eine Grafikkarte zu einer VM durchreichen und bekomme beim Starten der VM diesen Iommu Fehler.
Bios geprüft, diverse Anleitungen verglichen... es sollte eigentlich laufen.
Dann habe ich das acpi wieder auf "on" gestellt und siehe da die VM startet mit der Graka allerdings werden die Hdd´s wieder mit Fragezeichen angezeigt und sind nicht
wirklich benutzbar, da die Verbindung ständig verloren geht.
Ich habe auch schon einige andere Befehle in dem grub probiert. Alles ohne Erfolg.

Würde gerne auf eine Neuinstallation verzichten ;-)
Peinlich... Hatte die falsche Karte in der Beschreibung.

 

[Max Carrara]

Hi! Probier' mal in grub statt acpi=off mal pci=noapci aus, falls du das noch nicht probiert hast. Aus dem Linux Kernel Admin Guide:

noacpi [X86] Do not use ACPI for IRQ routing or for PCI scanning.

Lass mich wissen ob das klappt oder nicht!

 

[maxmax27]

Hallo Max Carrara,

der Befehl pci=noacpi hat leider auch nicht funktioniert. Er hat nur dazu geführt, dass im Dropdown wenn ich die Graka hinzufügen möchte, nichts
mehr angezeigt wird. Es ist dann kein PCI-Gerät mehr zum Auswählen.

Des weiteren habe ich noch die fstab um uuid erweitert. Hatte gelesen, dass diese grauen Fragezeichen auch bei falsch gemounteten Laufwerken kommt. Leider auch kein Erfolg.

Danke für Deine Idee

 

[Max Carrara]

Hallo Max Carrara,

der Befehl pci=noacpi hat leider auch nicht funktioniert. Er hat nur dazu geführt, dass im Dropdown wenn ich die Graka hinzufügen möchte, nichts
mehr angezeigt wird. Es ist dann kein PCI-Gerät mehr zum Auswählen.

Des weiteren habe ich noch die fstab um uuid erweitert. Hatte gelesen, dass diese grauen Fragezeichen auch bei falsch gemounteten Laufwerken kommt. Leider auch kein Erfolg.

Danke für Deine Idee

Hmm.. suspekt. Einen Versuch war's wert! Eventuell können wir sonst nochmal ein paar sanity checks durchlaufen lassen. Ich habe witzigerweise den gleichen HBA bei meinem System zuhause; nur rennt auf dem host dort kein PVE. Eine Nvidia Tesla m40 rennt bzw. rannte auf dem ebenfalls ohne Probleme; vom Kernel wird alles erkannt. Gehen muss es also irgendwie.

Eventuell nochmal eine Liste an sanity checks zum Durchgehen, einmal mit, einmal ohne kernel flags in GRUB; alle commands als root ausgeführt:

• Schau dir mal den output von lsblk und blkid an. Tauchen die drives so auf wie erwartet?
• Wenn die drives in den beiden Befehlen korrekt auftauchen, aber im Webinterface als Fragezeichen, probier' mal die folgenden Services neuzustarten: systemctl restart pvedaemon.service pveproxy.service pvestatd.service
• Schau dir deine systemd logs durch. Das kannst du mit journalctl -xe - das beginnt bei den neuesten logs; du kannst dann im Terminal raufscrollen um vergangenes zu sehen. Fällt dir da irgendwas auf?
• Sieh dir den output von dmesg an. Fällt dir dort irgendetwas auf?

Vielleicht helfen dir die paar Ideen hier, falls du da etwas noch nicht probiert haben solltest.

Andere Frage: Unter welchem Dateisystem rennen die drives denn? z.B. ext4 oder ZFS?

 

[Max Carrara]

Achja, nochwas zu meinem setup: Auf der Maschine mit dem HBA & GPU verwende ich die drives die am HBA angeschlossen sind via ZFS. ZFS importiert die alle während dem Booten; das hat bis jetzt immer geklappt. Sollte dir also doch keine andere Wahl bleiben als deinen host neu aufzusetzen, wäre es einen Versuch wert, die drives in ein zpool layout deiner Wahl zu packen, falls du das nicht schon hast.

 

[maxmax27]

Hallo Max Carrara,
da ich in der Woche wenig Zeit habe, melde ich mich jetzt erst wieder. Ich habe mir mal so einiges von den Protokollen angeschaut. Richtig aufgefallen ist mir da nichts. Ich habe nun auch eine andere Erweiterungskarte eingebaut. ASM1166 Chip. Aber auch das bringt keine Veränderung. Ach übrigens: Die Laufwerke laufen auf ext4.
Mal blöd gefragt... Ich reiche mittlerweile schon die 4te HDD an einen Linux Container durch und Mounte sie per UUID. Muß ich die vielleicht auf eine Blacklist setzen damit Proxmox nicht immer versucht sie zu erkennen und einzubinden? Ich habe dazu zwar nichts gefunden. War nur so eine Idee.
Ansonsten bereite ich mich Seelisch darauf vor wohl neu zu installieren. Vielleicht ist bei den ganzen upgrade was schief gelaufen.
Wenn Dir noch was einfällt bitte melden. Vor Samstag werde ich da nicht bei gehen können.

Viele Grüße

 

[Max Carrara]

Hallo maxmax27,
sehr weird - dann wird das wohl ein edge case in deinem Setup sein; heißt jetzt aber nicht, dass alles verloren ist.

Mal blöd gefragt... Ich reiche mittlerweile schon die 4te HDD an einen Linux Container durch und Mounte sie per UUID. Muß ich die vielleicht auf eine Blacklist setzen damit Proxmox nicht immer versucht sie zu erkennen und einzubinden? Ich habe dazu zwar nichts gefunden. War nur so eine Idee.

Weil du ja vor einer Weile meintest ...

Des weiteren habe ich noch die fstab um uuid erweitert.

Werden die Disks auch in deinem Host gemountet? Normalerweise sollte es kein Problem sein, eine Disk an mehreren Orten zu mounten - siehe folgenden Output, gerade mit einer noch unbenutzten disk probiert:

root:~/ # mkdir -p /mnt/tmp
root:~/ # mount /dev/sda1 /mnt/tmp
root:~/ # mkdir -p /mnt/alt
root:~/ # mount /dev/sda1 /mnt/alt
root:~/ # lsa /mnt/sda1
root:~/ # lsa /mnt/tmp
total 24K
drwxr-xr-x 3 root root 4.0K Feb 10 09:23 .
drwxr-xr-x 5 root root 4.0K Feb 10 09:24 ..
drwx------ 2 root root  16K Feb 10 09:23 lost+found
root:~/ # lsa /mnt/alt
total 24K
drwxr-xr-x 3 root root 4.0K Feb 10 09:23 .
drwxr-xr-x 5 root root 4.0K Feb 10 09:24 ..
drwx------ 2 root root  16K Feb 10 09:23 lost+found
root:~/ # touch /mnt/tmp/foobar
root:~/ # lsa /mnt/tmp
total 24K
drwxr-xr-x 3 root root 4.0K Feb 10 09:25 .
drwxr-xr-x 5 root root 4.0K Feb 10 09:24 ..
-rw-r--r-- 1 root root    0 Feb 10 09:25 foobar
drwx------ 2 root root  16K Feb 10 09:23 lost+found
root:~/ # lsa /mnt/alt
total 24K
drwxr-xr-x 3 root root 4.0K Feb 10 09:25 .
drwxr-xr-x 5 root root 4.0K Feb 10 09:24 ..
-rw-r--r-- 1 root root    0 Feb 10 09:25 foobar
drwx------ 2 root root  16K Feb 10 09:23 lost+found

Ich denke deshalb, dass das eigentlich keinen Unterschied machen sollte, ob du das drive im container und im host mountest oder eben nur im container, sofern der host sonst nichts anderes mit der disk macht. Ich kann mich hierbei aber auch irren.

Wenn Dir noch was einfällt bitte melden.

Das einzige was du noch probieren könntest: Wenn es dir möglich ist, eine Disk aus deinem Setup da irgendwie wieder rauszukriegen - zum Beispiel deine(n) container auf ein backup zu hauen, zu migrieren, o.Ä - dann könntest du versuchen, einen zpool mit ZFS zu machen, provisorisch mal mit einer einzigen disk. Wenn du irgendwo noch eine alte Platte rumliegen hast kannst du die zum Testen auch verwenden.

Vielleicht schaffst du es ja dadurch, dieses "Phänomen" zu umgehen, indem du ZFS das alles machen lässt. Alternativ kannst du's auch mit LVM probieren. Wichtig ist nur, dass du kein hardware RAID verwendest, das vertragt sich mit ZFS überhaupt nicht (und macht mit LVM auch wenig Sinn, mMn.). Danach kannst du probieren, einen container mit einer virtuellen disk da drauf aufzusetzen und mal sehen, wie das klappt. Falls das auch nicht funktioniert wird's definitiv an deiner hardware liegen, anders kann ich's mir sonst nicht erklären. Vielleicht hat ja ein:e Mitleser:in hier ja sonst eine Idee.

Wenn das via ZFS / LVM funktionieren sollte, kannst du versuchen, Stück für Stück deine container bzw. deren disks darauf zu migrieren. Ein single disk zpool bzw. LVM volume machen eigentlich nicht soooo viel Sinn (beides ist ja eher für RAID gedacht), aber dann hättest du zusätzlich bei beiden die Option, die Platten zu spiegeln (z.B. bei ZFS ein mirror vdev im pool hinzufügen). Der ganze Umstieg - sollte alles klappen - wird zwar wahrscheinlich schmerzhaft, aber man lernt andererseits viel daraus und du hast dann den Vorteil, bisschen mehr aus deinen Disks rauszuholen, wie z.B. Redundanz, mehr Performance, etc.

Falls dir das alles doch zu komplex sein sollte, wird dir wohl wirklich nichts anderes übrig bleiben, als dein System neu aufzusetzen. Das wäre aber gleichzeitig wieder eine Möglichkeit mal ein bisschen zu experimentieren; im Proxmox VE installer kannst du ja ZFS / LVM auch schon konfigurieren. Du könntest dann mal eines davon (oder beide) testen.

Egal welchen Weg du dann einschlägst - muss ja auch keine meiner Ideen sein, vielleicht fällt dir oder jemand anderes noch was ein - ich glaube, dass du danach besser aufgestellt sein wirst, als du es zuvor warst. Ich wünsch' dir auf jeden Fall viel Erfolg!

Side note: Sollte das mit ZFS / LVM alles klappen, kannst du deine disks dann später mMn. auch einfacher auf ein neues System migrieren. zpools und LVM volume groups lassen sich toll exportieren und dann wieder importieren. Noch ein weiterer Vorteil. Klinge mittlerweile fast wie ein Autohändler, der dir eine neue Karre andrehen will.

 

[maxmax27]

Hallo Max Carrara,

ich habe mal etwas gebastelt und alle satas abgezogen. Es ist nur noch die ssd mit Proxmox angeschlossen. Selbst hier habe ich "Connection timed out (596)" wenn ich in der Gui die Infos der ssd aufrufen möchte. Ein im Terminal ausgeführter Befehl "pvesm status" dauert ewig aber zeigt keine Fehler. Was mir auffällt, bei lsblk... Doppelte Einträge.

root@pve:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 232.9G 0 disk ├─sda1 8:1 0 1M 0 part ├─sda2 8:2 0 256M 0 part └─sda3 8:3 0 232.6G 0 part ├─pve-swap 253:0 0 5G 0 lvm [SWAP] ├─pve-root 253:1 0 58G 0 lvm / ├─pve-data_tmeta 253:2 0 80M 0 lvm │ └─pve-data-tpool 253:4 0 153.6G 0 lvm │ ├─pve-data 253:5 0 153.6G 1 lvm │ ├─pve-vm--101--disk--2 253:6 0 4M 0 lvm │ ├─pve-vm--101--disk--0 253:7 0 32G 0 lvm │ ├─pve-vm--101--disk--1 253:8 0 32G 0 lvm │ ├─pve-vm--102--disk--0 253:9 0 2G 0 lvm │ ├─pve-vm--106--disk--0 253:10 0 4G 0 lvm │ ├─pve-vm--107--disk--1 253:11 0 8G 0 lvm │ ├─pve-vm--108--disk--0 253:12 0 12G 0 lvm │ ├─pve-vm--109--disk--0 253:13 0 8G 0 lvm │ ├─pve-vm--100--disk--0 253:14 0 50G 0 lvm │ ├─pve-vm--105--disk--0 253:15 0 8G 0 lvm │ └─pve-vm--104--disk--0 253:16 0 8G 0 lvm └─pve-data_tdata 253:3 0 153.6G 0 lvm └─pve-data-tpool 253:4 0 153.6G 0 lvm ├─pve-data 253:5 0 153.6G 1 lvm ├─pve-vm--101--disk--2 253:6 0 4M 0 lvm ├─pve-vm--101--disk--0 253:7 0 32G 0 lvm ├─pve-vm--101--disk--1 253:8 0 32G 0 lvm ├─pve-vm--102--disk--0 253:9 0 2G 0 lvm ├─pve-vm--106--disk--0 253:10 0 4G 0 lvm ├─pve-vm--107--disk--1 253:11 0 8G 0 lvm ├─pve-vm--108--disk--0 253:12 0 12G 0 lvm ├─pve-vm--109--disk--0 253:13 0 8G 0 lvm ├─pve-vm--100--disk--0 253:14 0 50G 0 lvm ├─pve-vm--105--disk--0 253:15 0 8G 0 lvm └─pve-vm--104--disk--0 253:16 0 8G 0 lvm root@pve:~#

Im Moment sieht es so aus, dass die Post es nicht schafft, mir meine Bestellung zu liefern und ich nicht mit dem Sichern anfangen kann.
Vielleicht fällt Dir ja noch was ein.
Viele Grüße

 

[maxmax27]

Hallo Max Carrara und alle die mitgelesen haben,

nach nun ca. 16 Stunden der Neuinstallation und Einrichtung läuft alles so wie ich es mir vorgestellt habe.
Sogar besser wenn ich es mir genau überlege. Bis auf das die Debian VM mit durchgereichter Grafikkarte kein Bild im novlc zeigt aber das ist in diesem Moment nebensächlich. Ich wollte auf diesem Wege noch mal Danke sagen und bis bald.

Viele Grüße

 

[Max Carrara]

Was mir auffällt, bei lsblk... Doppelte Einträge.

Das ist ja mal komisch! Hast du noch rausfinden können, wieso das passierte?

Hallo Max Carrara und alle die mitgelesen haben,

nach nun ca. 16 Stunden der Neuinstallation und Einrichtung läuft alles so wie ich es mir vorgestellt habe.
Sogar besser wenn ich es mir genau überlege. Bis auf das die Debian VM mit durchgereichter Grafikkarte kein Bild im novlc zeigt aber das ist in diesem Moment nebensächlich. Ich wollte auf diesem Wege noch mal Danke sagen und bis bald.

Viele Grüße

Freut mich, das zu hören! Ich wünsche dir viel Erfolg mit deinem Setup!