[SOLVED] bond0 auf HP-Server mit 10G-Mellanox-Karte?

[whiterabbit]

Hallo.
Ich habe versucht, ein bond0 mit einer Mellannox-10G-NIC zu erstellen.
Leider wird das LAG aber scheinbar gar nicht angelegt. Auf dem Server sieht das so aus:

allow-hotplug enp8s0
iface enp8s0 inet manual
allow-hotplug enp8s0d1
iface enp8s0d1 inet manual

auto bond0
iface bond0 inet manual
        slaves enp8s0 enp8s0d1
        bond_miimon 100
        bond_mode 802.3ad
        bond_xmit_hash_policy layer2+3
#2-fach-bond0 / SFP+

(in diesem Fall habe ich die Alias-Namen verwendet -- es hat aber auch nicht funktioniert, wenn ich die Namen ens3 und ens3d1 vewende.)

dmesg liefert dies:

dmesg |grep mlx4
[    1.984541] mlx4_core: Mellanox ConnectX core driver v4.0-0
[    1.984574] mlx4_core: Initializing 0000:08:00.0
[    1.984629] mlx4_core 0000:08:00.0: enabling device (0140 -> 0142)
[    8.068992] mlx4_core 0000:08:00.0: DMFS high rate steer mode is: disabled performance optimized steering
[    8.069290] mlx4_core 0000:08:00.0: 63.008 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x8 link)
[    8.293924] mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0
[    8.294066] mlx4_en 0000:08:00.0: Activating port:1
[    8.299406] mlx4_en: 0000:08:00.0: Port 1: Using 32 TX rings
[    8.299410] mlx4_en: 0000:08:00.0: Port 1: Using 16 RX rings
[    8.299618] mlx4_en: 0000:08:00.0: Port 1: Initializing port
[    8.299945] mlx4_en 0000:08:00.0: registered PHC clock
[    8.300398] mlx4_en 0000:08:00.0: Activating port:2
[    8.301315] mlx4_core 0000:08:00.0 ens3: renamed from eth0
[    8.303894] mlx4_en: 0000:08:00.0: Port 2: Using 32 TX rings
[    8.303896] mlx4_en: 0000:08:00.0: Port 2: Using 16 RX rings
[    8.304051] mlx4_en: 0000:08:00.0: Port 2: Initializing port
[    8.356810] <mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v4.0-0
[    8.358222] mlx4_core 0000:08:00.0 ens3d1: renamed from eth0
[    8.358520] <mlx4_ib> mlx4_ib_add: counter index 2 for port 1 allocated 1
[    8.358524] <mlx4_ib> mlx4_ib_add: counter index 3 for port 2 allocated 1
[    9.709566] mlx4_en: ens3: Link Up
[   10.704275] mlx4_en: ens3d1: Link Up

Das sieht ja zunächst mal gut aus. Aber dann:

cat /proc/net/bonding/bond0
cat: /proc/net/bonding/bond0: No such file or directory

und im Proxmox-WebUI wird das bond0 auch nicht als aktiv angezeigt.
Die Frage ist: Woran kann das liegen bzw wo steckt der Fehler in der Konfiguration?
Danke.

 

[whiterabbit]

Hm -- gerade habe ich diese Seite entdeckt:
https://techblog.jeppson.org/2020/02/proxmox-bond-not-present-fix/

Das habe ich ausprobiert, also konkret diese Schritte:

apt install ifenslave

Das lieferte:

ifup bond0
error: rawdevice bond0 not present

Danach dann noch:

apt install ifupdown
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Suggested packages:
  ppp rdnssd
The following packages will be REMOVED:
  ifupdown2
The following NEW packages will be installed:
  ifupdown

und wieder:

ifup bond0

Jetzt liefert

cat /proc/net/bonding/bond0
und auch
cat /proc/net/vlan/config

das was es soll.

Fazit: Warum macht ifupdown2 das nicht auch? Hier läuft ein aktuelles Proxmox 7.3

 

[Stoiko Ivanov]

Fazit: Warum macht ifupdown2 das nicht auch? Hier läuft ein aktuelles Proxmox 7.3

Prinzipiell funktionieren bonds auch gut mit ifupdown2 (sonst hätten wir einiges mehr an Meldungen auf unseren Supportchannels)

Das einzige was mir auf einen Blick auffällt ist:

allow-hotplug enp8s0

bitte mal mit

auto enp8s0

stattdessen versuchen

auch potentiell dennoch mit dem interface namen aus dem dmesg versuchen:

ens3d1: renamed from eth0

(oder auch den gesamten `ip -details link` output - weil es jetzt aussieht als würden die interface names nicht zusammenpassen)

 

[whiterabbit]

Hallo.
Kann das evtl auch daran liegen, dass die meisten Installationen Upgrades und keine Neuinstallationen sein dürften?
Meines Wissens muss man in dem Fall doch aktiv selbst auf ifupdown2 umstellen, oder?

Jetzt, wo es funktioniert, lasse ich die Konfiguration so.
Anders gefragt: Warum entfernt ifupdown2 das Paket ifenslave, das (zumindest hier) scheinbar notwendig war?
Viele Grüße und vielen Dank.

 

[Stoiko Ivanov]

Jetzt, wo es funktioniert, lasse ich die Konfiguration so.
Anders gefragt: Warum entfernt ifupdown2 das Paket ifenslave, das (zumindest hier) scheinbar notwendig war?
Viele Grüße und vielen Dank.

weil ifenslave eben nicht mehr notwendg ist wenn ifupdown2 verwendet wird.

Potentiell wird ifupdown2 irgendwann dennoch zur hard-dependency (sprich, dann muss umgestellt werden) - auch wenn das bisher nicht aktiv geplant ist.