[SOLVED] Mellanox ConnectX-5

[em.tie]

Hallo zusammen,

ich habe mir 2 Mellanox ConnectX-5 Dual Port 10/25Gbit/s Netzwerkkarten für 2 meiner Proxmox Hosts zugelegt. Grundsätzlich wird die Karte erkannt und lspci -v zeigt folgendes:

01:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
        Subsystem: Mellanox Technologies ConnectX®-5 EN network interface card, 10/25GbE dual-port SFP28, PCIe3.0 x8, tall bracket ; MCX512A-ACAT
        Flags: bus master, fast devsel, latency 0, IRQ 17, IOMMU group 1
        Memory at 4012000000 (64-bit, prefetchable) [size=32M]
        Expansion ROM at 6f800000 [disabled] [size=1M]
        Capabilities: [60] Express Endpoint, MSI 00
        Capabilities: [48] Vital Product Data
        Capabilities: [9c] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [c0] Vendor Specific Information: Len=18 <?>
        Capabilities: [40] Power Management version 3
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [180] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [230] Access Control Services
        Kernel driver in use: mlx5_core
        Kernel modules: mlx5_core

in der Netzwerkkonfiguration sieht das Ganze dann so aus:

iface enp1s0f1np1 inet manual
    mtu 9000
    
auto vmbr1
iface vmbr1 inet static
    address 192.168.1.3/24
    bridge-ports enp1s0f1np1
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 1-512
    mtu 9000

Die Karte bzw. die Bridge tauchen dann auch bei der Ausgabe von ip addr wie folgt auf:

4: enp1s0f1np1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq master vmbr1 state UP group default qlen 1000
link/ether 10:70:fd:39:3a:d7 brd ff:ff:ff:ff:ff:ff
6: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc noqueue state UP group default qlen 1000
link/ether 10:70:fd:39:3a:d7 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.3/24 scope global vmbr1
valid_lft forever preferred_lft forever
inet6 fe80::1270:fdff:fe39:3ad7/64 scope link
valid_lft forever preferred_lft forever

Pinge ich dann aber einen anderen Host in dem Netz bekomme ich keine Antwort und weiß mir keinen Rat.

Ich habe dann noch die Mellanox Tools heruntergeladen, weil ich beim googeln gesehen habe, dass es Karten gibt die auf Infiband oder Ethernet gestellt werden können. Dies scheint bei meiner aber nicht der Fall zu sein. Laut mstconfig -d 01:00.1 query gibt es folgende Einstellunge auf der Karte

Device #1:
----------
Device type:    ConnectX5
Name:           MCX512A-ACA_Ax_Bx
Description:    ConnectX-5 EN network interface card; 10/25GbE dual-port SFP28; PCIe3.0 x8; tall bracket; ROHS R6
Device:         01:00.1
Configurations:                              Next Boot
MEMIC_BAR_SIZE                      0
MEMIC_SIZE_LIMIT                    _256KB(1)
HOST_CHAINING_MODE                  DISABLED(0)
HOST_CHAINING_CACHE_DISABLE         False(0)
HOST_CHAINING_DESCRIPTORS           Array[0..7]
HOST_CHAINING_TOTAL_BUFFER_SIZE     Array[0..7]
FLEX_PARSER_PROFILE_ENABLE          0
FLEX_IPV4_OVER_VXLAN_PORT           0
ROCE_NEXT_PROTOCOL                  254
ESWITCH_HAIRPIN_DESCRIPTORS         Array[0..7]
ESWITCH_HAIRPIN_TOT_BUFFER_SIZE     Array[0..7]
PF_BAR2_SIZE                        0
NON_PREFETCHABLE_PF_BAR             False(0)
VF_VPD_ENABLE                       False(0)
PER_PF_NUM_SF                       False(0)
STRICT_VF_MSIX_NUM                  False(0)
VF_NODNIC_ENABLE                    False(0)
NUM_OF_VFS                          8
PF_BAR2_ENABLE                      False(0)
SRIOV_EN                            True(1)
PF_LOG_BAR_SIZE                     5
VF_LOG_BAR_SIZE                     0
NUM_PF_MSIX                         63
NUM_VF_MSIX                         11
INT_LOG_MAX_PAYLOAD_SIZE            AUTOMATIC(0)
PCIE_CREDIT_TOKEN_TIMEOUT           0
ACCURATE_TX_SCHEDULER               False(0)
PARTIAL_RESET_EN                    False(0)
SW_RECOVERY_ON_ERRORS               False(0)
RESET_WITH_HOST_ON_ERRORS           False(0)
ADVANCED_POWER_SETTINGS             False(0)
CQE_COMPRESSION                     BALANCED(0)
IP_OVER_VXLAN_EN                    False(0)
MKEY_BY_NAME                        False(0)
ESWITCH_IPV4_TTL_MODIFY_ENABLE      False(0)
PRIO_TAG_REQUIRED_EN                False(0)
UCTX_EN                             True(1)
PCI_ATOMIC_MODE                     PCI_ATOMIC_DISABLED_EXT_ATOMIC_ENABLED(0)
TUNNEL_ECN_COPY_DISABLE             False(0)
LRO_LOG_TIMEOUT0                    6
LRO_LOG_TIMEOUT1                    7
LRO_LOG_TIMEOUT2                    8
LRO_LOG_TIMEOUT3                    13
LOG_TX_PSN_WINDOW                   7
LOG_MAX_OUTSTANDING_WQE             7
TX_SCHEDULER_BURST                  0
ZERO_TOUCH_TUNING_ENABLE            False(0)
LOG_DCR_HASH_TABLE_SIZE             11
DCR_LIFO_SIZE                       16384
ROCE_CC_PRIO_MASK_P1                255
ROCE_CC_PRIO_MASK_P2                255
CLAMP_TGT_RATE_AFTER_TIME_INC_P1    True(1)
CLAMP_TGT_RATE_P1                   False(0)
RPG_TIME_RESET_P1                   300
RPG_BYTE_RESET_P1                   32767
RPG_THRESHOLD_P1                    1
RPG_MAX_RATE_P1                     0
RPG_AI_RATE_P1                      5
RPG_HAI_RATE_P1                     50
RPG_GD_P1                           11
RPG_MIN_DEC_FAC_P1                  50
RPG_MIN_RATE_P1                     1
RATE_TO_SET_ON_FIRST_CNP_P1         0
DCE_TCP_G_P1                        1019
DCE_TCP_RTT_P1                      1
RATE_REDUCE_MONITOR_PERIOD_P1       4
INITIAL_ALPHA_VALUE_P1              1023
MIN_TIME_BETWEEN_CNPS_P1            4
CNP_802P_PRIO_P1                    6
CNP_DSCP_P1                         48
CLAMP_TGT_RATE_AFTER_TIME_INC_P2    True(1)
CLAMP_TGT_RATE_P2                   False(0)
RPG_TIME_RESET_P2                   300
RPG_BYTE_RESET_P2                   32767
RPG_THRESHOLD_P2                    1
RPG_MAX_RATE_P2                     0
RPG_AI_RATE_P2                      5
RPG_HAI_RATE_P2                     50
RPG_GD_P2                           11
RPG_MIN_DEC_FAC_P2                  50
RPG_MIN_RATE_P2                     1
RATE_TO_SET_ON_FIRST_CNP_P2         0
DCE_TCP_G_P2                        1019
DCE_TCP_RTT_P2                      1
RATE_REDUCE_MONITOR_PERIOD_P2       4
INITIAL_ALPHA_VALUE_P2              1023
MIN_TIME_BETWEEN_CNPS_P2            4
CNP_802P_PRIO_P2                    6
CNP_DSCP_P2                         48
LLDP_NB_DCBX_P1                     False(0)
LLDP_NB_RX_MODE_P1                  OFF(0)
LLDP_NB_TX_MODE_P1                  OFF(0)
LLDP_NB_DCBX_P2                     False(0)
LLDP_NB_RX_MODE_P2                  OFF(0)
LLDP_NB_TX_MODE_P2                  OFF(0)
DCBX_IEEE_P1                        True(1)
DCBX_CEE_P1                         True(1)
DCBX_WILLING_P1                     True(1)
DCBX_IEEE_P2                        True(1)
DCBX_CEE_P2                         True(1)
DCBX_WILLING_P2                     True(1)
KEEP_ETH_LINK_UP_P1                 True(1)
KEEP_IB_LINK_UP_P1                  False(0)
KEEP_LINK_UP_ON_BOOT_P1             False(0)
KEEP_LINK_UP_ON_STANDBY_P1          False(0)
DO_NOT_CLEAR_PORT_STATS_P1          False(0)
AUTO_POWER_SAVE_LINK_DOWN_P1        False(0)
KEEP_ETH_LINK_UP_P2                 True(1)
KEEP_IB_LINK_UP_P2                  False(0)
KEEP_LINK_UP_ON_BOOT_P2             False(0)
KEEP_LINK_UP_ON_STANDBY_P2          False(0)
DO_NOT_CLEAR_PORT_STATS_P2          False(0)
AUTO_POWER_SAVE_LINK_DOWN_P2        False(0)
NUM_OF_VL_P1                        _4_VLs(3)
NUM_OF_TC_P1                        _8_TCs(0)
NUM_OF_PFC_P1                       8
VL15_BUFFER_SIZE_P1                 0
NUM_OF_VL_P2                        _4_VLs(3)
NUM_OF_TC_P2                        _8_TCs(0)
NUM_OF_PFC_P2                       8
VL15_BUFFER_SIZE_P2                 0
DUP_MAC_ACTION_P1                   LAST_CFG(0)
UNKNOWN_UPLINK_MAC_FLOOD_P1         False(0)
SRIOV_IB_ROUTING_MODE_P1            LID(1)
IB_ROUTING_MODE_P1                  LID(1)
DUP_MAC_ACTION_P2                   LAST_CFG(0)
UNKNOWN_UPLINK_MAC_FLOOD_P2         False(0)
SRIOV_IB_ROUTING_MODE_P2            LID(1)
IB_ROUTING_MODE_P2                  LID(1)
PF_TOTAL_SF                         0
PF_SF_BAR_SIZE                      0
PCI_WR_ORDERING                     per_mkey(0)
MULTI_PORT_VHCA_EN                  False(0)
PORT_OWNER                          True(1)
ALLOW_RD_COUNTERS                   True(1)
RENEG_ON_CHANGE                     True(1)
TRACER_ENABLE                       True(1)
IP_VER                              IPv4(0)
UEFI_HII_EN                         True(1)
BOOT_DBG_LOG                        False(0)
UEFI_LOGS                           DISABLED(0)
BOOT_INTERRUPT_DIS                  False(0)
BOOT_LACP_DIS                       True(1)
P2P_ORDERING_MODE                   DEVICE_DEFAULT(0)
ATS_ENABLED                         False(0)
DYNAMIC_VF_MSIX_TABLE               False(0)
EXP_ROM_UEFI_x86_ENABLE             False(0)
EXP_ROM_PXE_ENABLE                  True(1)
ADVANCED_PCI_SETTINGS               False(0)
SAFE_MODE_THRESHOLD                 10
SAFE_MODE_ENABLE                    True(1)

ethtool -i enp1s0f1np1 gibt folgenden Status aus:

driver: mlx5_core
version: 5.15.83-1-pve
firmware-version: 16.35.2000 (MT_0000000080)
expansion-rom-version:
bus-info: 0000:01:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes

und ethtool enp1s0f1np1 sagt folgendes:

Settings for enp1s0f1np1:
Supported ports: [ FIBRE ]
Supported link modes:   1000baseKX/Full
10000baseKR/Full
25000baseCR/Full
25000baseKR/Full
25000baseSR/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: None RS      BASER
Advertised link modes:  1000baseKX/Full
10000baseKR/Full
25000baseCR/Full
25000baseKR/Full
25000baseSR/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: None       RS      BASER
Speed: 10000Mb/s
Duplex: Full
Auto-negotiation: on
Port: FIBRE
PHYAD: 0
Transceiver: internal
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000004 (4)
link
Link detected: yes

Hat jemand eventuell bitte einen Tipp für mich, wie ich die Karte zum Laufen bekomme?

Vielen Dank

emtie

 

[Zerstoiber]

Die Hosts sind also direkt verkabelt, kein Switch dazwischen?
Was pingst du wie genau? (ich frage, weil da kein Gateway konfiguriert ist)
VLANs 1-512, aber keins wird verwendet, richtig?

 

[em.tie]

Hallo Zerstoiber,

die Hosts sind bei der vmbr1 über einen Switch miteinander verbunden. das VLAN 1 ist im Switch als untagged konfiguriert und die weiteren VLANs sind als Tagged im Switch konfiguriert. Bei den übrigen Hosts (außer mit oben genannter Karte) funktioniert diese Konfiguration auch. Das Standardgateway ist in der vmbr0 konfiguiert über die auch der Traffic der VMs läuft. die vmbr1 ist nur für Storagekommunikation und läuft auch über einen eigenen Switch. Ich ping die übrigen Hosts an (wie gesagt, bei denen ohne genante Mellanox Karte läuft das auch, habe auch im gleichen Host nur die Karten ausgetauscht und schon läuft es). Ich verstehe nur nicht warum nicht???

 

[em.tie]

Hallo zusammen,

habe die "Lösung" gefunden. Hier noch einmal falls jemand außer mir in das gleiche Problem läuft...

Sobald ich von ifupdown2 auf ifupdown downgrade funktioniert alles wie erhofft. Warum auch immer???

Schönen Abend allerseits und einen guten Rutsch ins Jahr 2023

cu em.tie