BIOS Optionen neuer Proxmox Server

[Computerboss]

Guten Abend zusammen,

nun habe ich endlich meinen neuen Proxmox Server zusammengebaut

Anbei die Komponenten:
Mainboard: Gigabyte MC12-LE0
https://www.gigabyte.com/de/Enterprise/Server-Motherboard/MC12-LE0-rev-1x
CPU: AMD Ryzen 9 5950X
RAM: 4X 32GB DDR4 ECC
ASUS Hyper M.2 X16 Gen 4 Cardmit 2 SSDs für VMs
https://geizhals.de/asus-hyper-m-2-x16-gen-4-card-90mc08a0-m0eay0-a2267859.html
1 Sata SSD für Proxmox VE


Dazu habe ich folgende BIOS Fragen:

1. Ich würde für den gesamten Netzwerkverkehr eine Mellanox Connect X3 Karte nehmen. Würdet Ihr SR-IOV im BIOS einschalten? Wenn ich es richtig verstehe ergeben sich ja dadurch keine Nachteile oder?

2. Benötigt Proxmox TPM? In den Standard einstellungen steht die Option TPM switch auf SPI TPM, wenn ich das richtig verstehe wird das TPM Module vom Board genommen und bei AMD fTPM das Module von der CPU ist das korrekt? Würdet Ihr für Proxmox TPM auf SPI TPM belassen? Deaktivieren kann man es ja nicht soweit ich das sehe. Lediglich Security Device Support kann man einstellen, dass war auf enabled und würde ich mal so belassen.

3. Wie schaut es bei Secure Boot aus, das ist standardmäßig an, kann ich das getroßt ausschalten oder würdet Ihr es an lassen?

Eine weitere Frage hätte ich in Verbindung mit der SSD Erweiterungskarte:
Im BIOS habe ich die Option PCIEx16 Slot demnach auf X4,X4,X4,X4 gestellt, damit ich alle SSDs verwenden kann und in Zukunft gerüstet bin falls ich weitere SSDs einbaue. Muss ich die Einstellung I/O ROM eingeschaltet lassen? Es soll nicht von einer dieser SSDs gebootet werden, da hab ich eine SATA SSD, so wie ich es verstehe muss das ja nur an sein wenn von dem Datenträger in dem Slot gebootet werden soll, ist das richtig?

Über eure Erfahrungen und Tipps würde ich mich freuen

Über weitere Empfehlungen rund um Konfiguration, BIOS etc. würde ich mich natürlich auch sehr freuen

Viele Grüße und einen schönen Abend zusammen

 

[Dunuin]

1. Ich würde für den gesamten Netzwerkverkehr eine Mellanox Connect X3 Karte nehmen. Würdet Ihr SR-IOV im BIOS einschalten? Wenn ich es richtig verstehe ergeben sich ja dadurch keine Nachteile oder?

Wenn du virtuelle Funktionen der NIC an VMs durchreichen willst solltest du das machen. Wenn nicht hast du halt auch keine Vorteile.

2. Benötigt Proxmox TPM? In den Standard einstellungen steht die Option TPM switch auf SPI TPM, wenn ich das richtig verstehe wird das TPM Module vom Board genommen und bei AMD fTPM das Module von der CPU ist das korrekt? Würdet Ihr für Proxmox TPM auf SPI TPM belassen? Deaktivieren kann man es ja nicht soweit ich das sehe. Lediglich Security Device Support kann man einstellen, dass war auf enabled und würde ich mal so belassen.

3. Wie schaut es bei Secure Boot aus, das ist standardmäßig an, kann ich das getroßt ausschalten oder würdet Ihr es an lassen?

Da musst du gucken ob das Board überhaupt ein TPM-Modul hat. Üblicherweise ist das ja optional und muss extra dazugekauft und in den entsprechenden Sockel gesteckt werden. Proxmox kann erst seit kurzem TPM mit Secure Boot benutzen. Und wenn du das nur im Homelab betreiben solltest und keine Vorschriften bezüglich Secure Boot einzuhalten hast, dann würde ich mir persönlich den ganzen Frust mit TPM und Signierung ersparen und Secure Boot deaktivieren.

Muss ich die Einstellung I/O ROM eingeschaltet lassen? Es soll nicht von einer dieser SSDs gebootet werden, da hab ich eine SATA SSD, so wie ich es verstehe muss das ja nur an sein wenn von dem Datenträger in dem Slot gebootet werden soll, ist das richtig?

Da weiß ich leider auch nicht. Vielleicht kann da wer anderes was zu sagen.

Ich würde aber die System-Disk spiegeln und eine zweite SATA SSD kaufen. Die paar eingesparten Euro (zwei gebrauchte Enterprise SSDs die für ZFS als Systemdisks völlig reichen würden bekommst du mit Glück schon zusammen inkl Porto ab 30€) sind den Datenverlust, Downtime und Arbeitsaufwand nicht wert, wenn dir da die einzige Systemdisk plötzlich wegstirbt, der Server abstürzt, du erst Ersatzteile bestellen und alles von Grund auf neu aufsetzen musst. Am besten noch zu Weihnachten, wo die Läden zu haben und wo du lieber anderes tun würdest...

 

[cwt]

Das Board habe ich ebenfalls im Einsatz (Ryzen 5800X und 128GB ECC). Wüsste nicht, warum man den PCIe x16 Slot einstellen müsste. Afaik können alle 6 S-ATA ports so genutzt werden (bei mir hängen da 6x Kingston DC600M dran). Im x16 Slot nutze ich einen Broadcom 9400-16i HBA mit 8x SAS 20TB im striped mirror als Datenhaufen via ZFS, im anderen Slot eine Broadcom 10G Karte. Sec Boot habe ich disabled. Ansonsten habe ich x2APIC aktiviert und die C-States aus.

 

[Falk R.]

Ich würde keine Connect-X3 mehr kaufen. Die läuft mit dem aktuellen Kernel nicht mehr. Die Connect-X3 Pro (40 GBit) laufen noch, aber da kann niemand sagen wie lange noch. Die nutze ich übrigens auch und halte auch schon Ausschau nach alternativen, falls die auch demnächst nicht mehr funktioniert.

 

[Dunuin]

Also hier laufen die ConnectX-3s (MCX311A-XCAT) noch mit dem 6.5er Kernel. Nur halt nicht mehr all das an Software drum herum, was ja nur bis Debian 10 oder 11 supported wurde. Trotzdem natürlich nicht gerade eine Kaufempfehlung.

 

[Falk R.]

Ich habe nur die Pro, aber schon von mehreren Leuten gehört, dass die Karten nach einem Kernelupdate nicht mehr gefunden werden. Nutzt du eventuell einen neueren Treiber, als der Standard?

 

[Dunuin]

Ich habe nur die Pro, aber schon von mehreren Leuten gehört, dass die Karten nach einem Kernelupdate nicht mehr gefunden werden. Nutzt du eventuell einen neueren Treiber, als der Standard?

Nein, ganz normal der standardmäßige Treiber, der mit der No-Sub von PVE kommt.

lspci -v:

01:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]
        Subsystem: Mellanox Technologies ConnectX-3 10 GbE Single Port SFP+ Adapter
        Physical Slot: 3
        Flags: bus master, fast devsel, latency 0, IRQ 24, IOMMU group 53
        Memory at fbb00000 (64-bit, non-prefetchable) [size=1M]
        Memory at f2800000 (64-bit, prefetchable) [size=8M]
        Expansion ROM at fba00000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
        Capabilities: [48] Vital Product Data
        Capabilities: [9c] MSI-X: Enable+ Count=128 Masked-
        Capabilities: [60] Express Endpoint, MSI 00
        Capabilities: [c0] Vendor Specific Information: Len=18 <?>
        Capabilities: [100] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [148] Device Serial Number f4-52-14-03-00-88-30-60
        Capabilities: [154] Advanced Error Reporting
        Capabilities: [18c] Secondary PCI Express
        Kernel driver in use: mlx4_core
        Kernel modules: mlx4_core

lsmod mlx4_core:

root@Enterprise:~# /sbin/modinfo mlx4_core
filename:       /lib/modules/6.5.13-1-pve/kernel/drivers/net/ethernet/mellanox/mlx4/mlx4_core.ko
version:        4.0-0
license:        Dual BSD/GPL
description:    Mellanox ConnectX HCA low-level driver
author:         Roland Dreier
srcversion:     E56C31B22B4323F52856CC9
alias:          pci:v000015B3d00001010sv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Fsv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Esv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Dsv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Csv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Bsv*sd*bc*sc*i*
alias:          pci:v000015B3d0000100Asv*sd*bc*sc*i*
alias:          pci:v000015B3d00001009sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001008sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001007sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001006sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001005sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001004sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001003sv*sd*bc*sc*i*
alias:          pci:v000015B3d00001002sv*sd*bc*sc*i*
alias:          pci:v000015B3d0000676Esv*sd*bc*sc*i*
alias:          pci:v000015B3d00006746sv*sd*bc*sc*i*
alias:          pci:v000015B3d00006764sv*sd*bc*sc*i*
alias:          pci:v000015B3d0000675Asv*sd*bc*sc*i*
alias:          pci:v000015B3d00006372sv*sd*bc*sc*i*
alias:          pci:v000015B3d00006750sv*sd*bc*sc*i*
alias:          pci:v000015B3d00006368sv*sd*bc*sc*i*
alias:          pci:v000015B3d0000673Csv*sd*bc*sc*i*
alias:          pci:v000015B3d00006732sv*sd*bc*sc*i*
alias:          pci:v000015B3d00006354sv*sd*bc*sc*i*
alias:          pci:v000015B3d0000634Asv*sd*bc*sc*i*
alias:          pci:v000015B3d00006340sv*sd*bc*sc*i*
depends:     
retpoline:      Y
intree:         Y
name:           mlx4_core
vermagic:       6.5.13-1-pve SMP preempt mod_unload modversions
sig_id:         PKCS#7
signer:         Build time autogenerated kernel key
sig_key:        04:65:FC:E5:26:6D:6F:CF:7D:D2:2C:E7:47:45:36:2D:25:2D:FC:12
sig_hashalgo:   sha512
signature:      6B:AC:24:6B:7A:A3:C9:24:3C:4B:75:D5:EA:5F:51:88:7D:FF:77:52:
                F8:17:57:5F:40:7F:D9:02:23:2B:20:30:8B:F4:0B:0E:B6:BD:11:2D:
                AB:4C:89:15:82:B1:C5:82:9E:30:70:FE:2D:34:64:7C:3F:15:CD:C7:
                77:BE:59:2C:60:59:B6:E0:D1:D5:67:B3:D5:C0:FB:9C:B6:50:2B:E8:
                16:92:51:07:07:3A:D2:58:A9:E1:D1:44:34:68:D8:97:2E:31:B2:20:
                14:F2:0E:4E:C4:5C:95:09:C6:4F:C5:E9:B3:31:2E:F8:80:6E:DE:39:
                4D:6D:9F:C0:45:67:B1:28:B8:8E:78:63:5E:89:CF:7C:52:57:4A:26:
                B2:FC:F6:E1:D7:66:CC:B5:0A:F7:A6:83:57:ED:65:71:D0:00:56:33:
                E1:59:6F:28:04:BE:7A:F7:71:6F:CE:1C:9D:A4:42:5B:D9:D3:15:EB:
                E2:7B:E6:34:4D:26:98:94:37:A5:5C:D4:87:B2:7F:82:92:62:34:CA:
                EC:3C:58:B9:67:96:EB:63:CE:72:42:2F:8A:EB:4A:12:C6:4D:F7:B0:
                40:44:26:84:CE:E8:82:58:D2:C5:08:8F:45:A3:9C:FE:52:F7:4E:5A:
                A8:C0:DF:96:DB:3E:89:C7:F2:96:DB:66:DD:C6:1A:5B:CB:7D:36:9F:
                01:DE:38:81:2A:3A:9D:F6:F7:B6:24:96:74:FF:14:58:46:6A:9C:F6:
                60:38:51:E2:FB:B6:E5:67:99:4D:0E:8F:09:E0:88:FF:CE:D6:9A:78:
                FB:96:06:A8:0F:66:87:1E:7D:B1:9C:38:26:9A:22:72:E9:F2:E7:43:
                90:92:8F:27:1F:E6:99:22:07:8C:0E:CF:79:AC:6D:3E:BE:96:C4:35:
                30:3C:67:66:AD:A3:A4:08:C1:98:B5:B9:C7:BC:5D:4E:81:2B:A4:CD:
                E0:DA:A7:87:DA:8F:CC:D9:EF:A8:59:55:9F:5F:8C:86:B9:7A:B8:49:
                4D:35:FE:47:45:84:51:02:1C:EE:2E:B0:97:67:1E:56:06:21:30:DC:
                6A:14:68:C3:13:E1:45:86:66:43:08:91:64:D3:17:58:9D:8E:22:A7:
                59:69:F2:A2:6B:12:FD:46:D2:73:A2:3A:D5:04:A6:D3:53:64:E0:C9:
                26:06:03:A1:84:94:61:D8:DB:B3:09:6C:B5:3C:37:6E:8F:42:74:BC:
                9C:BA:CD:0A:46:49:21:F3:21:2C:11:C8:E4:F2:99:25:8B:B6:D4:75:
                E9:18:C2:FE:A9:6F:65:6C:C9:A5:72:7A:92:F1:72:4F:5B:0E:43:88:
                71:28:63:9A:41:18:2E:9D:C5:06:62:D1
parm:           debug_level:Enable debug tracing if > 0 (int)
parm:           msi_x:0 - don't use MSI-X, 1 - use MSI-X, >1 - limit number of MSI-X irqs to msi_x (int)
parm:           num_vfs:enable #num_vfs functions if num_vfs > 0
num_vfs=port1,port2,port1+2 (array of byte)
parm:           probe_vf:number of vfs to probe by pf driver (num_vfs > 0)
probe_vf=port1,port2,port1+2 (array of byte)
parm:           log_num_mgm_entry_size:log mgm size, that defines the num of qp per mcg, for example: 10 gives 248.range: 7 <= log_num_mgm_entry_size <= 12. To activate device managed flow steering when available, set to -1 (int)
parm:           enable_64b_cqe_eqe:Enable 64 byte CQEs/EQEs when the FW supports this (default: True) (bool)
parm:           enable_4k_uar:Enable using 4K UAR. Should not be enabled if have VFs which do not support 4K UARs (default: false) (bool)
parm:           log_num_mac:Log2 max number of MACs per ETH port (1-7) (int)
parm:           log_num_vlan:Log2 max number of VLANs per ETH port (0-7) (int)
parm:           use_prio:Enable steering by VLAN priority on ETH ports (deprecated) (bool)
parm:           log_mtts_per_seg:Log2 number of MTT entries per segment (0-7) (default: 0) (int)
parm:           port_type_array:Array of port types: HW_DEFAULT (0) is default 1 for IB, 2 for Ethernet (array of int)
parm:           enable_qos:Enable Enhanced QoS support (default: off) (bool)
parm:           internal_err_reset:Reset device on internal errors if non-zero (default 1) (int)

Aber ja, die ConnectX-3 Probleme von manchen Leuten nach dem Upgrade von PVE7 auf 8 sind mir auch aufgefallen. Bei Hardware die man selber nutzt spitzt mannatürlich besonders die Ohren. Hier laufen die aber noch bei zwei PVE 8.1 Nodes und einem Win11 Rechner ganz normal.

 

[Falk R.]

Unter Windows läuft der Treiber vermutlich noch länger. Bei ESXi laufen die schon länger nicht mehr.

 

[Computerboss]

Guten Abend zusammen und vielen herzlichen Dank euch für die zahlreiche Hilfe, das hat mich sehr gefreut!

Wenn du virtuelle Funktionen der NIC an VMs durchreichen willst solltest du das machen. Wenn nicht hast du halt auch keine Vorteile.

Puh das ist eine sehr gute Frage was wären virtuelle Funktionen? Tagged VLANs?
Ich verwende VLANs nur über den Switch, nicht am Client also untagge/portbasiert.

Da musst du gucken ob das Board überhaupt ein TPM-Modul hat. Üblicherweise ist das ja optional und muss extra dazugekauft und in den entsprechenden Sockel gesteckt werden. Proxmox kann erst seit kurzem TPM mit Secure Boot benutzen. Und wenn du das nur im Homelab betreiben solltest und keine Vorschriften bezüglich Secure Boot einzuhalten hast, dann würde ich mir persönlich den ganzen Frust mit TPM und Signierung ersparen und Secure Boot deaktivieren.

Guter Punkt! Habe gerade mal im Datenblatt geschaut:


So sollte das aussehen, das habe ich definitiv nicht:


Jetzt Frage ich mir nur was passiert wenn ich es im BIOS standardmäßig so belasse, dass es auf SPI TPM gestellt ist würde ja bedeuten, dass das Mainboard TPM genommen wird, da ist aber keins. Also wird es eigentlich deaktiviert? Komisch das man die Option garnicht abschalten kann oder ich übersehe etwas.
Der Server soll nur für daheim sein genau
Ich dachte das es mit TPM und Secure boot vielleicht sicherer ist?

Ich würde aber die System-Disk spiegeln und eine zweite SATA SSD kaufen.

Hmm, das wäre auf jeden Fall eine Überlegung wert. Das geht ja ganz leicht im Proxmox Setup wenn ich da RAID 1 wähle oder müsste ich das über das Board besser machen?

Das Board habe ich ebenfalls im Einsatz (Ryzen 5800X und 128GB ECC). Wüsste nicht, warum man den PCIe x16 Slot einstellen müsste. Afaik können alle 6 S-ATA ports so genutzt werden (bei mir hängen da 6x Kingston DC600M dran). Im x16 Slot nutze ich einen Broadcom 9400-16i HBA mit 8x SAS 20TB im striped mirror als Datenhaufen via ZFS, im anderen Slot eine Broadcom 10G Karte. Sec Boot habe ich disabled. Ansonsten habe ich x2APIC aktiviert und die C-States aus.

Ah super. Ja den PCIE Slot muss ich umstellen um PCI Bifurcation nutzen zu können. Das macht man, da sonst nur die erste SSD der Asus Karte erkannt wird. Es werden quasi alle Lanes aufgeteilt in 4x4 lanes so das man mit einer x16 lane ganze 4 SSDs voll betreiben kann, ein richtig feines feature
Darf ich fragen ob du ein TPM Chip hast und wie du TPM eingestellt hast?
Und hast du Secure Boot Enabled?
Hast du BIOS und BMC auch aktualisiert? Muss ich da eine Reihenfolge beachten?
Sorry für die vielen Fragen, es freut mich, dasss jemand das gleiche Board hat

Ich würde keine Connect-X3 mehr kaufen. Die läuft mit dem aktuellen Kernel nicht mehr. Die Connect-X3 Pro (40 GBit) laufen noch, aber da kann niemand sagen wie lange noch. Die nutze ich übrigens auch und halte auch schon Ausschau nach alternativen, falls die auch demnächst nicht mehr funktioniert.

Die Connect X3 habe ich noch von meinem früheren Server und wollte diese mitnehmen.
Das die nicht mehr läuft ist natürlich schlimm. Ich hatte die Karte fest eingeplant
Kann man irgendwo sehen, welche Karte oder Chipsatz unterstützt wird? So dass ich eine passende Karte kaufen kann.
Vielleicht eine von diesen:
https://geizhals.de/tp-link-tx401-a2404015.html?hloc=at&hloc=de
https://geizhals.de/asus-xg-c100c-90ig0440-mo0r00-a1614406.html?hloc=at&hloc=de
https://geizhals.de/gigabyte-vision...pter-gc-aqc113c-a2921546.html?hloc=at&hloc=de

Vielen Dank dir für den Tipp, dass wäre ärgerlich geworden, wenn ich das System mal geupdatet hätte. Aktuell ist es ja noch nicht so oder? Habe noch einen alten T20 als Testgerät wo auch eine Mellanox Connect X3 Werkelt mit Proxmox.



Viele Grüße

 

[cwt]

Ah, die ASUS Adapterkarte hab ich überlesen, dann machts Sinn. Secure boot habe ich abgestellt, SPI/TPM auf default gelassen. Wenn kein TPM Modul vorhanden ist, stört es das BIOS nicht. Für VMs kannst Du ja ein virtuelles TPM erstellen (Win 11 & Co.).

BMC und BIOS habe ich beide auf den neuesten Stand gebracht. BMC kannst Du über das Webinterface flashen (Passwort für den User Admin = Seriennr auf dem Board). Nur beim UEFI BIOS Flash habe ich klassisch via USB-Stick gearbeitet, weil es über BMC nicht ging/wollte. Da gibt es eine kleine Hürde: das Flashscript (.sh) erwartet ein Tool, welches nicht im Download erhalten ist. Weiß jetzt aus dem Kopf nicht mehr, wie genau das hieß. Gibts aber bei AMI als x64 Version zum Download. Nach dem 1st Flash und Reboot musst Du den Vorgang wiederholen und extra bestätigen (Version missmatch). Kollege hatte bei dem Board das gleiche Phänomen.

 

[Falk R.]

Die Connect X3 habe ich noch von meinem früheren Server und wollte diese mitnehmen.
Das die nicht mehr läuft ist natürlich schlimm. Ich hatte die Karte fest eingeplant

Wie Dunuin schreibt, läuft die wohl doch noch, aber einige Leute hatten Probleme nach dem Upgrade.
Unter Umständen haben die Leute ihr Karte nicht von Infiniband auf Ethernet umgestellt.
Wenn du die eh schon besitzt, kannst du die erst einmal weiter benutzen. Ich würde mir jetzt nur keine mehr kaufen. Ich nutze gern Broadcom NICs, gebraucht findest du auch viele mit QLogic Chip, die werkeln auch gut.
Die drei NICs welche du raus gesucht hast, sind quasi bis auf das Außendesign identisch. Haben alle den gleichen Chip drauf.

 

[Dunuin]

Puh das ist eine sehr gute Frage was wären virtuelle Funktionen? Tagged VLANs?
Ich verwende VLANs nur über den Switch, nicht am Client also untagge/portbasiert.

Nein, damit spaltest du die eine physische NIC in mehrere virtuelle NICs so dass du die eine NIC an mehrere VMs per PCI Passthrough durchreichen kannst.
Also quasi Virtualisierung auf Hardwareebene.

Ich dachte das es mit TPM und Secure boot vielleicht sicherer ist?

Ja, aber auch 1000x komplizierter und fehleranfälliger. Wenn dann dein Server nach einem Software-Uograde oder Disk-Tausch das Booten verweigert, weil ich da etwas geändert hat etc.

Hmm, das wäre auf jeden Fall eine Überlegung wert. Das geht ja ganz leicht im Proxmox Setup wenn ich da RAID 1 wähle oder müsste ich das über das Board besser machen?

Geht beides. ZFS ist halt nicht toll mit Consumer SSDs. Das killt mir pausenlos die Systemdisks in den TrueNAS-Servern. Onboard-Raid ist schonender für die SSDs, dir fehlt dann aber auch der Schutz der Datenintegrität und wenn dir mal das Board wegstirbt oder du auf einen neueren Server upgraden willst, dann hast du ein Problem, weil die Disks nur in dem Server lesbar sind und nicht einfach die Systendisks in einen anderen Rechner verpflanzen kannst ohne PVE komplett neu aufzusetzen.

Unter Umständen haben die Leute ihr Karte nicht von Infiniband auf Ethernet umgestellt.

Das kann sein. Meine war auf Ethernet und die neuste Firmware geflasht. Ich weiß noch, dass ich zum Flashen extra vom USB-Stick booten musste, weil das mit PVE schon damals nicht mehr ging.

 

[Falk R.]

Das kann sein. Meine war auf Ethernet und die neuste Firmware geflasht. Ich weiß noch, dass ich zum Flashen extra vom USB-Stick booten musste, weil das mit PVE schon damals nicht mehr ging.

Ich hatte die NIC bei mir einfach in eine vorhandene Windows VM eingehängt und da geupdatet.

 

[Dunuin]

Ich hatte die NIC bei mir einfach in eine vorhandene Windows VM eingehängt und da geupdatet.

Da hatte ich auch dran gedacht. Aber über PCI Passthrough die Firmware flashen wollte ich dann doch nicht, da ich mir nicht sicher war, ob das nicht irgendwie zu Komplikationen kommen kann und ich mir die NIC dann bricke.

 

[christophs]

Hallo Leute,

nachdem ich hier von PCI(e) Passthrough gelesen habe

Ich habe auch dieses Gigabyte MC12-LE0 Board. In dem einen NVME 3.0 x1 Slot habe ich eine ASM1166 M.2 Sata Karte mit 6 Ports und im PCIe 3.0 x4 Slot habe ich eine NVME mittels PCIe Adapter.
Aktuell läuft alles noch auf Unraid aber ich habe Proxmox 8.2 installiert und wollte genau diese 2 Dinge an eine VM durchreichen.
Ich habe laut Anleitung eingestellt

/etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet iommu=pt"

/etc/kernel/cmdline
root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet iommu=pt

/etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd #not needed if on kernel 6.2 or newer

Die Nvme via PCIe Adapter ist in einer eigenen Gruppe 01
Die ASM1166 ist in einer eigenen Gruppe 06

Sobald ich diese der VM zuweise und diese Starte friert der Server komplett ein und ist nicht mehr erreichbar
In der IPMI KVM steht nur mehr No Signal
Server muss resetet werden


Vielleicht hat jemand eine Idee?
Was übersehe ich?


Danke!

lg Christoph

 

[Abby2017]

Hier gibts ne gute Anleitung zu deinem Thema https://www.thomas-krenn.com/de/wiki/Proxmox_PCIe_Passthrough_aktivieren

 

[Dunuin]

Sobald ich diese der VM zuweise und diese Starte friert der Server komplett ein und ist nicht mehr erreichbar

Das klingt dann aber danach, dass da noch was anderes in den IOMMU Gruppen ist, was dann ebenfalls mit durchgereicht wird, dass dir dann der PVE Host abschmiert. Was gibt denn der PVE Host bei pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist "" aus?

 

[christophs]

Das klingt dann aber danach, dass da noch was anderes in den IOMMU Gruppen ist, was dann ebenfalls mit durchgereicht wird, dass dir dann der PVE Host abschmiert. Was gibt denn der PVE Host bei pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist "" aus?

Hi,

ich hab den ASM1166 zB in ein anderes System gegeben (Intel Mainboard) wo die selbe Proxmox Version läuft. Dort konnte ich das ASM1166 samt 2 Test SATA Disken in der VM ansprechen (Unraid VM)..


Jedenfalls sieht das sieht so aus
Ich glaube jetzt kommen wir dem näher - Gruppe 6 ist mehrmals vergeben


┌──────────┬────────┬──────────────┬────────────┬────────┬─────────────────────────────────────────────────────────┬──────┬──────────────────┬───────
│ class │ device │ id │ iommugroup │ vendor │ device_name │ mdev │ subsystem_device │ subsys
╞══════════╪════════╪══════════════╪════════════╪════════╪═════════════════════════════════════════════════════════╪══════╪══════════════════╪═══════
│ 0x010601 │ 0x43eb │ 0000:02:00.1 │ 11 │ 0x1022 │ 500 Series Chipset SATA Controller │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x010601 │ 0x1166 │ 0000:06:00.0 │ 11 │ 0x1b21 │ ASM1166 Serial ATA Controller │ │ 0x2116 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x010802 │ 0x5018 │ 0000:01:00.0 │ 10 │ 0x1987 │ E18 PCIe4 NVMe Controller │ │ 0x5018 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x010802 │ 0x5018 │ 0000:09:00.0 │ 12 │ 0x1987 │ E18 PCIe4 NVMe Controller │ │ 0x5018 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x010802 │ 0x5018 │ 0000:0a:00.0 │ 13 │ 0x1987 │ E18 PCIe4 NVMe Controller │ │ 0x5018 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x020000 │ 0x1533 │ 0000:07:00.0 │ 11 │ 0x8086 │ I210 Gigabit Network Connection │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x020000 │ 0x1533 │ 0000:08:00.0 │ 11 │ 0x8086 │ I210 Gigabit Network Connection │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x030000 │ 0x2000 │ 0000:05:00.0 │ 11 │ 0x1a03 │ ASPEED Graphics Family │ │ 0x2000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x040300 │ 0x15e3 │ 0000:0b:00.6 │ 19 │ 0x1022 │ Family 17h/19h HD Audio Controller │ │ 0xfa16 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x048000 │ 0x15e2 │ 0000:0b:00.5 │ 18 │ 0x1022 │ ACP/ACP3X/ACP6x Audio Coprocessor │ │ 0x15e2 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1630 │ 0000:00:00.0 │ -1 │ 0x1022 │ Renoir/Cezanne Root Complex │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1632 │ 0000:00:01.0 │ 0 │ 0x1022 │ Renoir PCIe Dummy Host Bridge │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1632 │ 0000:00:02.0 │ 2 │ 0x1022 │ Renoir PCIe Dummy Host Bridge │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1632 │ 0000:00:08.0 │ 6 │ 0x1022 │ Renoir PCIe Dummy Host Bridge │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1448 │ 0000:00:18.0 │ 9 │ 0x1022 │ Renoir Device 24: Function 0 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x1449 │ 0000:00:18.1 │ 9 │ 0x1022 │ Renoir Device 24: Function 1 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144a │ 0000:00:18.2 │ 9 │ 0x1022 │ Renoir Device 24: Function 2 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144b │ 0000:00:18.3 │ 9 │ 0x1022 │ Renoir Device 24: Function 3 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144c │ 0000:00:18.4 │ 9 │ 0x1022 │ Renoir Device 24: Function 4 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144d │ 0000:00:18.5 │ 9 │ 0x1022 │ Renoir Device 24: Function 5 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144e │ 0000:00:18.6 │ 9 │ 0x1022 │ Renoir Device 24: Function 6 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060000 │ 0x144f │ 0000:00:18.7 │ 9 │ 0x1022 │ Renoir Device 24: Function 7 │ │ 0x0000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060100 │ 0x790e │ 0000:00:14.3 │ 8 │ 0x1022 │ FCH LPC Bridge │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1634 │ 0000:00:01.1 │ 1 │ 0x1022 │ Renoir/Cezanne PCIe GPP Bridge │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1634 │ 0000:00:02.1 │ 3 │ 0x1022 │ Renoir/Cezanne PCIe GPP Bridge │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1633 │ 0000:00:02.4 │ 4 │ 0x1022 │ Renoir PCIe GPP Bridge │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1633 │ 0000:00:02.5 │ 5 │ 0x1022 │ Renoir PCIe GPP Bridge │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1635 │ 0000:00:08.1 │ 7 │ 0x1022 │ Renoir Internal PCIe GPP Bridge to Bus │ │ 0x1458 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x43e9 │ 0000:02:00.2 │ 11 │ 0x1022 │ 500 Series Chipset Switch Upstream Port │ │ 0x0201 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x43ea │ 0000:03:06.0 │ 11 │ 0x1022 │ │ │ 0x3308 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x43ea │ 0000:03:07.0 │ 11 │ 0x1022 │ │ │ 0x3308 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x43ea │ 0000:03:08.0 │ 11 │ 0x1022 │ │ │ 0x3308 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x43ea │ 0000:03:09.0 │ 11 │ 0x1022 │ │ │ 0x3308 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x060400 │ 0x1150 │ 0000:04:00.0 │ 11 │ 0x1a03 │ AST1150 PCI-to-PCI Bridge │ │ 0x1150 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x080600 │ 0x1631 │ 0000:00:00.2 │ -1 │ 0x1022 │ Renoir/Cezanne IOMMU │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x0c0330 │ 0x43ee │ 0000:02:00.0 │ 11 │ 0x1022 │ 500 Series Chipset USB 3.1 XHCI Controller │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x0c0330 │ 0x1639 │ 0000:0b:00.3 │ 16 │ 0x1022 │ Renoir/Cezanne USB 3.1 │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x0c0330 │ 0x1639 │ 0000:0b:00.4 │ 17 │ 0x1022 │ Renoir/Cezanne USB 3.1 │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x0c0500 │ 0x790b │ 0000:00:14.0 │ 8 │ 0x1022 │ FCH SMBus Controller │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x108000 │ 0x15df │ 0000:0b:00.2 │ 15 │ 0x1022 │ Family 17h (Models 10h-1fh) Platform Security Processor │ │ 0x1000 │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────┼──────┼──────────────────┼───────
│ 0x130000 │ 0x145a │ 0000:0b:00.0 │ 14 │ 0x1022 │ Zeppelin/Raven/Raven2 PCIe Dummy Function │ │ 0x1000 │
└──────────┴────────┴──────────────┴────────────┴────────┴─────────────────────────────────────────────────────────┴──────┴──────────────────┴───────

 

[Dunuin]

Bitte nächstes mal Output in CODE-Tags posten...sonst ist das echt unleserlich...

Von dem was ich da entziffern kann ist der ASM1166 in IOMMU Group 11 zusammen mit all dem Zeugs was am Chipsatz hängt wie USB Controller, beiden NICs, der onboard GPU, SATA-Controller und weiterem. Es werden dann alle diese Geräte zusammen an die VM durchgereicht. Mag der Host halt nicht, wenn man ihm alle NICs, GPU und vorallem die Systemplatten klaut

 

[christophs]

Bitte nächstes mal Output in CODE-Tags posten...sonst ist das echt unleserlich...

Von dem was ich da entziffern kann ist der ASM1166 in IOMMU Group 11 zusammen mit all dem Zeugs was am Chipsatz hängt wie USB Controller, beiden NICs, der onboard GPU, SATA-Controller und weiterem. Es werden dann alle diese Geräte zusammen an die VM durchgereicht. Mag der Host halt nicht, wenn man ihm alle NICs, GPU und vorallem die Systemplatten klaut

Ja genau ich meinte 11 - sorry bin da noch nicht so erfahren im Forum
Danke - das heisst ich muss irgendwie ACS bzw ACS Override aktivieren nehm ich an