Kernel-Update und QLogic FC HBA

[m.kahane]

Hallo zusammen

Wir haben momentan folgendes Problem: Nach dem Update des Kernels funktioniert der SCSi FC HBA von QLogic (Kernel-Modul qla2xxx) nicht mehr - bzw läuft das Modul, aber erkennt keine SCSi-Disks (/LUNs) mehr. Ich vermute, dass das non-subscription-Repository noch zur Zeit des Updates aktiv war und die aktuelle Kernelversion (pve-kernel-5.4.78-2-pve) eventuell daher kam. Wenn ich im Grub den alten Kernel (pve-kernel-5.4.55-1-pve) lade, dann funktioniert alles wie gehabt. Ich hänge mal ein Vergleich der Kernelmodule (Ausgabe lsmod) an.

Spoiler: 5.4.55-1-pve

Module Size Used by
md4 16384 0
cmac 16384 1
nls_utf8 16384 2
cifs 1073152 2
libarc4 16384 1 cifs
fscache 372736 1 cifs
libdes 24576 1 cifs
ebtable_filter 16384 0
ebtables 36864 1 ebtable_filter
ip_set 53248 0
ip6table_raw 16384 0
iptable_raw 16384 0
ip6table_filter 16384 0
ip6_tables 32768 2 ip6table_filter,ip6table_raw
sctp 339968 2
libcrc32c 16384 1 sctp
iptable_filter 16384 0
bpfilter 32768 0
softdog 16384 2
bonding 167936 0
nfnetlink_log 20480 1
nfnetlink 16384 3 ip_set,nfnetlink_log
dm_service_time 16384 4
dm_multipath 32768 3 dm_service_time
scsi_dh_rdac 16384 0
scsi_dh_emc 16384 0
scsi_dh_alua 20480 4
intel_rapl_msr 20480 0
intel_rapl_common 24576 1 intel_rapl_msr
isst_if_common 16384 0
nfit 65536 0
x86_pkg_temp_thermal 20480 0
intel_powerclamp 20480 0
coretemp 20480 0
kvm_intel 253952 0
kvm 659456 1 kvm_intel
irqbypass 16384 1 kvm
zfs 3891200 6
crct10dif_pclmul 16384 1
crc32_pclmul 16384 0
ghash_clmulni_intel 16384 0
aesni_intel 372736 1
zunicode 331776 1 zfs
crypto_simd 16384 1 aesni_intel
cryptd 24576 2 crypto_simd,ghash_clmulni_intel
zlua 143360 1 zfs
glue_helper 16384 1 aesni_intel
zavl 16384 1 zfs
icp 299008 1 zfs
rapl 20480 0
ipmi_ssif 36864 0
mgag200 32768 0
drm_vram_helper 20480 1 mgag200
ttm 106496 1 drm_vram_helper
intel_cstate 20480 0
drm_kms_helper 184320 3 mgag200
pcspkr 16384 0
drm 491520 5 drm_kms_helper,drm_vram_helper,mgag200,ttm
i2c_algo_bit 16384 1 mgag200
fb_sys_fops 16384 1 drm_kms_helper
joydev 24576 0
cdc_eem 20480 0
syscopyarea 16384 1 drm_kms_helper
input_leds 16384 0
sysfillrect 16384 1 drm_kms_helper
usbnet 45056 1 cdc_eem
sysimgblt 16384 1 drm_kms_helper
mii 16384 1 usbnet
hpilo 24576 0
mei_me 40960 0
ioatdma 53248 0
mei 106496 1 mei_me
dca 16384 1 ioatdma
ipmi_si 61440 0
ipmi_devintf 20480 0
ipmi_msghandler 102400 3 ipmi_devintf,ipmi_si,ipmi_ssif
acpi_tad 16384 0
mac_hid 16384 0
acpi_power_meter 20480 0
zcommon 86016 2 zfs,icp
znvpair 81920 2 zfs,zcommon
spl 110592 5 zfs,icp,znvpair,zcommon,zavl
vhost_net 32768 0
vhost 49152 1 vhost_net
tap 24576 1 vhost_net
ib_iser 53248 0
rdma_cm 65536 2 cifs,ib_iser
iw_cm 49152 1 rdma_cm
ib_cm 57344 1 rdma_cm
ib_core 311296 5 rdma_cm,cifs,iw_cm,ib_iser,ib_cm
iscsi_tcp 24576 0
libiscsi_tcp 32768 1 iscsi_tcp
libiscsi 57344 3 libiscsi_tcp,iscsi_tcp,ib_iser
scsi_transport_iscsi 110592 5 libiscsi_tcp,iscsi_tcp,ib_iser,libiscsi
sunrpc 393216 1
ip_tables 28672 2 iptable_filter,iptable_raw
x_tables 45056 7 ebtables,ip6table_filter,ip6table_raw,iptable_filter,ip6_tables,iptable_raw,ip_tables
autofs4 45056 2
hid_generic 16384 0
usbkbd 16384 0
usbmouse 16384 0
usbhid 57344 0
hid 131072 2 usbhid,hid_generic
uas 28672 0
usb_storage 77824 1 uas
ses 20480 0
enclosure 16384 1 ses
qla2xxx 749568 8
smartpqi 77824 2
scsi_transport_sas 40960 2 ses,smartpqi
nvme_fc 40960 1 qla2xxx
nvme_fabrics 24576 1 nvme_fc
scsi_transport_fc 57344 1 qla2xxx
ehci_pci 20480 0
xhci_pci 20480 0
lpc_ich 24576 0
ehci_hcd 86016 1 ehci_pci
tg3 172032 0
xhci_hcd 262144 1 xhci_pci
wmi 32768 0

Spoiler: 5.4.78-2-pve

Module Size Used by
md4 16384 0
cmac 16384 1
nls_utf8 16384 2
cifs 1073152 2
libarc4 16384 1 cifs
fscache 372736 1 cifs
libdes 24576 1 cifs
ebtable_filter 16384 0
ebtables 36864 1 ebtable_filter
ip_set 53248 0
ip6table_raw 16384 0
iptable_raw 16384 0
ip6table_filter 16384 0
ip6_tables 32768 2 ip6table_filter,ip6table_raw
sctp 339968 2
libcrc32c 16384 1 sctp
iptable_filter 16384 0
bpfilter 32768 0
bonding 167936 0
softdog 16384 2
nfnetlink_log 20480 1
nfnetlink 16384 3 ip_set,nfnetlink_log
dm_multipath 32768 0
scsi_dh_rdac 16384 0
scsi_dh_emc 16384 0
scsi_dh_alua 20480 0
intel_rapl_msr 20480 0
intel_rapl_common 24576 1 intel_rapl_msr
isst_if_common 16384 0
nfit 65536 0
x86_pkg_temp_thermal 20480 0
intel_powerclamp 20480 0
coretemp 20480 0
kvm_intel 253952 0
kvm 659456 1 kvm_intel
zfs 3891200 6
irqbypass 16384 1 kvm
crct10dif_pclmul 16384 1
crc32_pclmul 16384 0
ghash_clmulni_intel 16384 0
aesni_intel 372736 1
zunicode 331776 1 zfs
crypto_simd 16384 1 aesni_intel
cryptd 24576 2 crypto_simd,ghash_clmulni_intel
zlua 143360 1 zfs
glue_helper 16384 1 aesni_intel
zavl 16384 1 zfs
rapl 20480 0
icp 299008 1 zfs
ipmi_ssif 36864 0
mgag200 32768 0
intel_cstate 20480 0
drm_vram_helper 20480 1 mgag200
ttm 106496 1 drm_vram_helper
drm_kms_helper 184320 3 mgag200
pcspkr 16384 0
drm 491520 5 drm_kms_helper,drm_vram_helper,mgag200,ttm
joydev 24576 0
input_leds 16384 0
cdc_eem 20480 0
usbnet 45056 1 cdc_eem
i2c_algo_bit 16384 1 mgag200
fb_sys_fops 16384 1 drm_kms_helper
syscopyarea 16384 1 drm_kms_helper
mii 16384 1 usbnet
sysfillrect 16384 1 drm_kms_helper
sysimgblt 16384 1 drm_kms_helper
mei_me 40960 0
hpilo 24576 0
ioatdma 53248 0
mei 106496 1 mei_me
dca 16384 1 ioatdma
ipmi_si 61440 0
ipmi_devintf 20480 0
ipmi_msghandler 102400 3 ipmi_devintf,ipmi_si,ipmi_ssif
acpi_tad 16384 0
mac_hid 16384 0
acpi_power_meter 20480 0
zcommon 86016 2 zfs,icp
znvpair 81920 2 zfs,zcommon
spl 110592 5 zfs,icp,znvpair,zcommon,zavl
vhost_net 32768 0
vhost 49152 1 vhost_net
tap 24576 1 vhost_net
ib_iser 53248 0
rdma_cm 61440 2 cifs,ib_iser
iw_cm 49152 1 rdma_cm
ib_cm 57344 1 rdma_cm
ib_core 311296 5 rdma_cm,cifs,iw_cm,ib_iser,ib_cm
iscsi_tcp 24576 0
libiscsi_tcp 32768 1 iscsi_tcp
libiscsi 57344 3 libiscsi_tcp,iscsi_tcp,ib_iser
scsi_transport_iscsi 110592 5 libiscsi_tcp,iscsi_tcp,ib_iser,libiscsi
sunrpc 393216 1
ip_tables 28672 2 iptable_filter,iptable_raw
x_tables 45056 7 ebtables,ip6table_filter,ip6table_raw,iptable_filter,ip6_tables,iptable_raw,ip_tables
autofs4 45056 2
hid_generic 16384 0
usbmouse 16384 0
usbkbd 16384 0
usbhid 57344 0
hid 131072 2 usbhid,hid_generic
uas 28672 0
usb_storage 77824 1 uas
ses 20480 0
enclosure 16384 1 ses
qla2xxx 749568 0
smartpqi 77824 2
scsi_transport_sas 40960 2 ses,smartpqi
nvme_fc 40960 1 qla2xxx
nvme_fabrics 24576 1 nvme_fc
scsi_transport_fc 57344 1 qla2xxx
ehci_pci 20480 0
xhci_pci 20480 0
lpc_ich 24576 0
ehci_hcd 86016 1 ehci_pci
tg3 172032 0
xhci_hcd 262144 1 xhci_pci
wmi 32768 0

Für mich sieht das so aus als hätte sich da nicht viel ändern dürfen. Hat jemand eine Idee wie ich da weiter vorgehen soll oder ähnliche Erfahrungen gemacht? Ist es unproblematisch den Server - bis ein Update (für das pve-enterprise-Repository) herauskommt - mit dem alten 'pve-kernel-5.4.55-1-pve' laufen zu lassen?

Vielen Dank im Voraus und Grüße
Manu

 

[Stoiko Ivanov]

In so einem Fall würde ich mal das dmesg beim booten zwischen beiden kernel vergleichen - bzw. schauen, ob beim neueren etwas relevantes vom qla2xxx modul steht

Wenn möglich bitte das dmesg vom boot mit 5.4.78-2 hier anhängen.

Danke

 

[m.kahane]

Hallo Stoiko

Danke für die Rückmeldung. Das sieht für mich auch gut aus. Ich hänge mal "dmesg" und "dmesg | grep qla2xxx" an.

Grüße

 

[Stoiko Ivanov]

Sehe soweit auf den ersten Blick auch kein Problem
* fällt etwas beim vergleichen der dmesg outputs zw. 5.4.78-2 und 5.4.55-1 auf? (vl. auch das dmesg von einem boot mit 5.4.55-1 posten)
* wie stellt sich das fehlen der devices dar? (lsblk output)
* sind die LUNs via iSCSI eingebunden - dann wären noch log-messages von iscsiadm interessant (auf den ersten Blick sah es eher nach fibrechannel aus)
* zw. 5.4.55-1 und 5.4.78-2 sind noch einige andere Kernel-versionen auf dem enterprise repository - wenn sich der Fehler nicht klarer darstellt, würden die zumindest helfen einzugrenzen wo/wann die Änderung passiert ist

Ich hoffe das hilft!

 

[m.kahane]

* Also ich sehe da keinen Hinweis. Ich hänge das mal an
* lsblk listet die HDDs/LUNs nicht. Ich habe auch schon einmal versucht den SCSi-Bus manuell zu scannen:

echo 1 > /sys/class/fc_host/host0/issue_lip
echo 1 > /sys/class/fc_host/host3/issue_lip

echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host3/scan

leider ohne Erfolg. Die "issue_lip"s führen bloß zu folgender Meldung im dmesg:

[ 4180.232203] qla2xxx [0000:37:00.0]-500b:0: LOOP DOWN detected (2 7 0 0).
[ 4180.766758] qla2xxx [0000:37:00.0]-500a:0: LOOP UP detected (16 Gbps).
[ 4185.626568] qla2xxx [0000:37:00.1]-500b:3: LOOP DOWN detected (2 7 0 0).
[ 4186.161222] qla2xxx [0000:37:00.1]-500a:3: LOOP UP detected (16 Gbps).

* Ja, es handelt sich um einen Dual Fibre Channel Controller
* Kann ich bei Gelegenheit einmal checken. Ich hatte gehofft, dass hier jemand ähnliche Erfahrungen gemacht hat, oder es an irgendeiner offensichtlicheren Unfähigkeit meinerseits liegt.

 

[m.kahane]

Wenn das für irgendjemanden noch einmal interessant sein sollte: das Problem hat sich mit dem nächsten Update-Prozess selbst erledigt.