[gelöst] Neue nvidia Grafikkarte im Host führt zu Fehlern in pfsense

[John_Doe]

Hi zusammen,

ich hab hier ein durchaus merkwuerdiges Problem. Ich habe zeitgleich eine Grafikkarte in den Proxmox Server eingebaut und ein Kernel update von 4.5 auf 5.0 durchgefuehrt, anschliessend verhielt sich pfsense sehr merkwuerdig. pfsense startet ganz normal, bekommt aber keine Einwahl mehr hin, ip adressen werden nicht mehr nach den zugeteilten statischen configs zugeteilt, andere clients erhalten gar keine IP.

Erschwerend kam noch hinzu (was ich dann grade erst gelernt habe), man kann sich die logs in pfsense nicht direkt mit cat/grep/less ansehen, bzw, kann man schon, aber es wird der letzte Teil der Logs nicht mehr dargestellt. Das ist ein Feature, kein Bug, hierfuer muss man clog nehmen. Da ich die Kiste jetzt grade wieder hochgefahren habe (ohne GraKa natguerlich), kann ich jetzt nur bedingt logfiles zur Verfuegung stellen.

Daher erstmal die grundsaetzliche Frage. Was koennte die Ursache dafuer sein das pfsense sich mit einer Grafikkarte im Host so merkwuerdig verhaelt? Ich hatte auch schon probiert den Display type von standard auf none oder standard VGA zu aendern, leider ohne Erfolg.

LÖSUNG: Durch den Einbau der Grafikkarte haben sich die Namen der Netzwerkkarten geaendert, hier musste einfach nur die Zuordnung in /etc/network/interfaces an die neuen Namen angepasst werden.

 

[t.lamprecht]

Hi,

Hast du auch mal probiert einen alten Kernel zu booten (von Grub/Systemd boot aus), zusammen mit der Grafikkarte?
Um eventuelle Relation zu der Änderung ausschließen zu können. Nicht das eignetlich der Kernel in zusammenhang mit der Grafikkarte Probleme macht.

Da du von einer Änderung von kernel 4.5 (nehme an es war 4.15 gemeint) auf 5.0 sprichts, hast du das ganze System upgedatet? Also von Proxmox VE 5.4 auf 6.0?

Ansonst wäre mal die VM configuration, bzw. deren Kommando interessant:

# qm config VMID
# qm showcmd VMID --pretty

um sehen zu können was die VM effektiv vom host-environment mitbekommen könnte.

 

[John_Doe]

Erstmal danke fuer die Antwort und sorry fuer die ganzen fehlenden Informationen.

Hi,

Hast du auch mal probiert einen alten Kernel zu booten (von Grub/Systemd boot aus), zusammen mit der Grafikkarte?
Um eventuelle Relation zu der Änderung ausschließen zu können. Nicht das eignetlich der Kernel in zusammenhang mit der Grafikkarte Probleme macht.

Das hatte ich bereits gemacht um die Fehlerquelle auszuschliessen. Auch mit dem bis dato funktionierenden Kernel 4.15 war das Problem das Gleiche. Wenn ich die Karte wieder ausbaue geht alles, nur mit der Karte eingebaut tritt das Fehlerbild auf. Sowohl mit 4.15 als auch mit 5.0.21.

Da du von einer Änderung von kernel 4.5 (nehme an es war 4.15 gemeint) auf 5.0 sprichts, hast du das ganze System upgedatet? Also von Proxmox VE 5.4 auf 6.0?

System ist komplett auf dem aktuellen Stand, keine Pakete zum updaten.

proxmox-ve: 6.0-2 (running kernel: 5.0.21-2-pve)
pve-manager: 6.0-7 (running version: 6.0-7/28984024)
pve-kernel-5.0: 6.0-8
pve-kernel-helper: 6.0-8
pve-kernel-4.15: 5.4-6
pve-kernel-5.0.21-2-pve: 5.0.21-3
pve-kernel-5.0.15-1-pve: 5.0.15-1
pve-kernel-4.15.18-18-pve: 4.15.18-44

Ansonst wäre mal die VM configuration, bzw. deren Kommando interessant:

# qm config VMID
# qm showcmd VMID --pretty

um sehen zu können was die VM effektiv vom host-environment mitbekommen könnte.

qm config 1000
boot: cdn
bootdisk: scsi0
cores: 2
description: ide2%3A local%3Aiso/pfSense-CE-2.4.4-RELEASE-p1-amd64.iso,media=cdrom
memory: 2048
name: pfSense
net0: virtio=5A:60:19:D6:CD:5D,bridge=vmbr1
net1: virtio=1A:D0:61:96:87:AE,bridge=vmbr2,tag=10
net2: virtio=EA:7A:43:0C:97:D3,bridge=vmbr2,tag=20
net3: virtio=52:F0:D6:4E:AC:8D,bridge=vmbr2,tag=30
net4: virtio=E2:0E:5B:27:80:37,bridge=vmbr2,tag=40
net5: virtio=B6:C0:B1:C3:23:6D,bridge=vmbr2,tag=50
net6: virtio=0E:F5:FD:56:84:CC,bridge=vmbr0,tag=1
numa: 0
onboot: 1
ostype: l26
scsi0: pihole:vm-1000-disk-0,size=20G
scsihw: virtio-scsi-pci
serial0: socket
smbios1: uuid=2567aca6-400c-47ec-a444-fecdfbc16a69
sockets: 1
startup: order=1
vga: std
vmgenid: 380db75e-9fbc-4658-8ec7-7be219724626

qm showcmd 1000 --pretty
/usr/bin/kvm \
  -id 1000 \
  -name pfSense \
  -chardev 'socket,id=qmp,path=/var/run/qemu-server/1000.qmp,server,nowait' \
  -mon 'chardev=qmp,mode=control' \
  -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' \
  -mon 'chardev=qmp-event,mode=control' \
  -pidfile /var/run/qemu-server/1000.pid \
  -daemonize \
  -smbios 'type=1,uuid=2567aca6-400c-47ec-a444-fecdfbc16a69' \
  -smp '2,sockets=1,cores=2,maxcpus=2' \
  -nodefaults \
  -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' \
  -vga none \
  -nographic \
  -cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce \
  -m 2048 \
  -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' \
  -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' \
  -device 'vmgenid,guid=380db75e-9fbc-4658-8ec7-7be219724626' \
  -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' \
  -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' \
  -chardev 'socket,id=serial0,path=/var/run/qemu-server/1000.serial0,server,nowait' \
  -device 'isa-serial,chardev=serial0' \
  -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' \
  -iscsi 'initiator-name=iqn.1993-08.org.debian:01:7ba8eab6c19b' \
  -device 'virtio-scsi-pci,id=scsihw0,bus=pci.0,addr=0x5' \
  -drive 'file=/dev/xeon/vm-1000-disk-0,if=none,id=drive-scsi0,format=raw,cache=none,aio=native,detect-zeroes=on' \
  -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' \
  -netdev 'type=tap,id=net0,ifname=tap1000i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=5A:60:19:D6:CD:5D,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300' \
  -netdev 'type=tap,id=net1,ifname=tap1000i1,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=1A:D0:61:96:87:AE,netdev=net1,bus=pci.0,addr=0x13,id=net1,bootindex=301' \
  -netdev 'type=tap,id=net2,ifname=tap1000i2,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=EA:7A:43:0C:97:D3,netdev=net2,bus=pci.0,addr=0x14,id=net2,bootindex=302' \
  -netdev 'type=tap,id=net3,ifname=tap1000i3,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=52:F0:D6:4E:AC:8D,netdev=net3,bus=pci.0,addr=0x15,id=net3,bootindex=303' \
  -netdev 'type=tap,id=net4,ifname=tap1000i4,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=E2:0E:5B:27:80:37,netdev=net4,bus=pci.0,addr=0x16,id=net4,bootindex=304' \
  -netdev 'type=tap,id=net5,ifname=tap1000i5,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=B6:C0:B1:C3:23:6D,netdev=net5,bus=pci.0,addr=0x17,id=net5,bootindex=305' \
  -netdev 'type=tap,id=net6,ifname=tap1000i6,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' \
  -device 'virtio-net-pci,mac=0E:F5:FD:56:84:CC,netdev=net6,bus=pci.1,addr=0x1,id=net6,bootindex=306' \
  -machine 'type=pc'

Was mir dabei grade noch auffaellt, kann es vielleicht die serielle Schnittstelle sein die hier Probleme macht?

Ich hatte als Vorbereitung fuer den PCI passthrough dann noch intel_iommu=on als kernel parameter hinzugefuegt und die entsprechenden Module hinzugefuegt. Grade ist mir dann aber aufgefallen das ich einen Tippfehler in GRUB_CMDLINE_LINUX_DEFAULT hatte. Den habe ich grade mal verbessert. Das muss ich dann heute abend nochmal probieren wenn ich Feierabend habe. Grade brauche ich das Internet hier noch.

Ich berichte dann spaeter nochmal

EDIT: Was mir grade noch auffaellt, ich hatte bisher auch noch VT-d nicht eingeschaltet im BIOS vom Mainboard. Auch das werde ich nachher nochmal angehen.

 

[t.lamprecht]

Ich berichte dann spaeter nochmal

OK, auf die schnelle wäre mir nämlich auch nichts problematisches in der config/dem command aufgefallen..

 

[dcsapak]

was mir dazu einfällt ist dass die host nic/vmbr zuordnung vielleicht nicht mehr passt da sich durch die grafikkarte die namen geändert haben können (zb enp0s1 vs enp01s2 oder so)
vielleicht mal mit und ohne grafikkarte den output von 'ip l' überprüfen

 

[John_Doe]

Das klingt total logisch und wird es vermutlich sein. Das erklärt naemlich auch warum die statischen IPs nicht mehr verteilt werden, wenn die MAC nicht mehr stimmt gibt es eben eine aus dem normalen Pool.

Ich teste das nachher mal aus und berichte dann wieder.

Danke fuer den Tipp!

 

[John_Doe]

was mir dazu einfällt ist dass die host nic/vmbr zuordnung vielleicht nicht mehr passt da sich durch die grafikkarte die namen geändert haben können (zb enp0s1 vs enp01s2 oder so)
vielleicht mal mit und ohne grafikkarte den output von 'ip l' überprüfen

Hindsight is 20/20 und so....

Total logisch und nachvollziehbar wenn man etwas drueber nachdenkt, im ersten Moment aber wieder mal Tomaten auf den Augen gehabt.

Genau das war es, die Namen der Netzwerkkarten wurden um 1 erhoeht.

Danke fuer den Tipp, ich markiere den Thread damit als geloest.