Proxmox VE und Intel i210 Netzwerkkarte

[TheExpert]

Hallo zusammen,

da Thomas Krenn auch Microserver für Proxmox VE mit Mainboards verkauft, auf denen als Onboard-Netzwerkkarten Intel i210 installiert sind, frage ich mich, wie dort die Netzwerkkarten funktionieren, wenn auch hier im Forum immer wieder über Probleme mit Proxmox VE und i210 geschrieben wird?

Ich habe ein älteres Supermicro Board in Verwendung auf denen einer der beiden Onboard-Karten eine i210 ist. Wenn ich diesen Netzwerkanschluss verwende, habe ich immer wieder Netzwerkverbindungsverluste in Form von ICMP-Aussetzer und ich kann zur gleichen dann auch nicht mehr auf das Webinterface von Proxmox zugreifen. Die physikalische Netzwerkverbindung ist aber die ganze Zeit fehlerfrei aktiv. Das gleiche Problem habe ich auch schon mit dem XEN Server und XCP-NG festgestellt.

Mit ESXi 6, 7 und 8 funktioniert die Netzwerkkarte fehlerfrei und auch ein XPEnology macht keine Probleme mit dieser Netzwerkkarte. Daher gehe ich davon aus, dass es mit dem igb Treiber unter Linux zu tun hat.

Was muss man in Proxmox tun, damit diese Netzwerkkarte fehlerfrei funktioniert? Ein Tipp eines Forenmitglieds hat bei mir leider nicht geholfen: https://forum.proxmox.com/threads/p...ating-communication-losses.145631/post-680137.

Für Tipps bin ich sehr dankbar.

Viele Grüße

 

[Falk R.]

Ich habe zuhause auch i210er und i225er Netzwerkkarten verbaut und seit PVE7 noch nicht einmal Probleme gehabt. Ich habe aber damals beim PVE7 auf PVE8 Upgrade die Firmware geupdatet. Ob du neue Firmware bekommst ist aber auch etwas MB Hersteller abhängig.
Guck mal ob es bei deinem Hersteller etwas gibt.
Der Unterschied von PVE zu z.B. Xen ist, dass Proxmox einen deutlich neueren Kernel benutzt und da neuere Treiber drin sind.

 

[TheExpert]

Ich habe bereits die akuell verfügbare Firmware des Boards installiert. Merkwürdig ist, ist halt, dass mit anderen Betriebssystemen dieses Problem nicht auftritt.

 

[Falk R.]

Ich habe bereits die akuell verfügbare Firmware des Boards installiert. Merkwürdige ist, ist halt, dass mit anderen Betriebssystemen dieses Problem nicht auftritt.

Ja anderer Treiber. Notfalls den Treiber von der Intel Seite holen und mal testen.

 

[TheExpert]

OK. Ich habe jetzt die aktuellsten verfügbaren Treiber von Intel heruntergeladen. Und wie installiere ich die Treiber unter Proxmox / Debian? Ich kenne mich noch nicht so gut in Linux aus, dass ich weiß, wie das geht.

 

[Falk R.]

Da gibt’s bei den Treibern auch immer ein Readme wo das drin steht.

 

[TheExpert]

In den Tiefen der Ordner habe ich das gefunden:

How to Manually Build the Driver
--------------------------------

1. Move the virtual function driver tar file to the directory of your
   choice. For example, use "/home/username/igb" or
   "/usr/local/src/igb".

2. Untar/unzip the archive, where "<x.x.x>" is the version number for
   the driver tar file:

      tar zxf igb-<x.x.x>.tar.gz

3. Change to the driver src directory, where "<x.x.x>" is the version
   number for the driver tar:

      cd igb-<x.x.x>/src/

4. Compile the driver module:

      make install

   The binary will be installed as:

      /lib/modules/<KERNEL VER>/updates/drivers/net/ethernet/intel/igb/igb.ko

   The install location listed above is the default location. This may
   differ for various Linux distributions.

5. Load the module using the modprobe command.

   To check the version of the driver and then load it:

      modinfo igb
      modprobe igb

   Alternately, make sure that any older igb drivers are removed from
   the kernel before loading the new module:

      rmmod igb; modprobe igb

Ist das mit Proxmox überhaupt möglich? Ich weiß, Proxmox basiert auf Debian, aber wie gesagt ich kenne mich da nicht gut aus.

 

[TheExpert]

Wie ich schon vermutet habe, klappt das das nicht. Zuerst fehlte "make". Das habe ich mit

apt-get install make

installiert.

Wenn man dann

make install

eingibt, wie in Schritt 4. oben beschrieben, erhält man diese Meldungen:

root@pve-test:~/igb-5.17.4/src# make install
common.mk:71: *** Kernel header files not in any of the expected locations.
common.mk:72: *** Install the appropriate kernel development package, e.g.
common.mk:73: *** kernel-devel, for building kernel modules and try again.  Stop.

Diese Erfahrungen mache ich ständig mit Linux-basierten Systemen: Sobald man etwas auf der Kommandozeile machen muss, wird es zum Gefrickel . Aber ich probiere es immer wieder, weil ich auch von Windows sowas von die Nase voll habe. Da liegts aber an Microsoft und dessen Übergriffigkeiten...

 

[Mr.Doubt]

Windows ist teils noch mehr gefrickel.
apt install build-essential proxmox-headers-$(uname -r)

 

[TheExpert]

Vielen Dank. Ja, auch Windows ist an manchen Stellen Gefrickel.

Ich habe nun den Treiber kompilieren und starten können. Jetzt teste ich, ob die ständigen Netzwerkunterbrechungen damit verschwinden.

Wie sieht es aus, wenn PVE aktualisiert wird? Muss man diese Arie dann nach jedem Update von neuem beginnen?

 

[Mr.Doubt]

Ja, bei einem neuen Kernel.
Gäbe auch noch das Paket

proxmox-headers-6.8

. Mit dem solltest Du immer die aktuellen Header des Kernels von PVE 8 haben.

 

[TheExpert]

Und leider funktioniert es nicht. Ich habe wieder die ständigen Verbindungsabbrüche .

Mainboard: Supermicro X10SLM-F
igb-Treiber: 5.17.4
Hier macht die 2. onboard Karte, i217, kein Problem, aber die nutzt auch einen anderen Treiber.

Proxmox soll dann auch auf einem Server mit Supermicro X11SSL-F laufen, das sogar zwei i210 onboard hat.

 

[Mr.Doubt]

Hm, ich habe hier, ebenfalls von Krenn, ein Supermicro H11SSL-i 2.00 mit der glab angestaubten Firmware 2.0a.
Darauf sind auch I210:
c5:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
c6:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
Die laufen mit dem Treiber aus dem Kernel, seit PVE6 ohne Probleme.
Firmware der NICs ist 3.25, 0x800005cc
Irgendwelche Optionen habe ich nicht gesetzt.

Hilft leider Dir nicht weiter.

Hast Du am Switch oder der Karte noch was gesetzt. MTU z.B.?

 

[TheExpert]

Nein. Die gleiche physikalische Netzwerkverbindung an der i217 läuft stabil (Kabel umgesteckt).

Die Server mit X11 laufen derzeit mit ESXi 8.0 ohne Probleme. Das war aber zuvor auch mit den X10 kein Thema. Der X10 ist ein Test für Proxmox. Wenn alles passt, dann will ich die ESXi durch Proxmox ersetzen. Aber seit Monaten komme ich mit den weiteren Tests nicht weiter, weil die i210 nicht so funktioniert, wie das unter ESXi der Fall ist.

 

[Falk R.]

Die X11 habe ich auch mehrfach stabil am laufen. Eventuell ist bei dem X10 noch etwas anders.

 

[TheExpert]

Möglich, aber mir ist das zu heikel, jetzt ein produktives System für Tests zu "opfern", nur um dann möglicherweise feststellen zu müssen, dass das Problem auch da auftritt.

Sicher, das kann mir auch dann passieren, wenn ich mit meinen Tests erfolgreich war und dann die Produktiv-Umgebung umstelle. Aber dann bin ich schon an einem Punkt, an dem zumindest alles andere ausgiebig getestet ist.

Den X10-basierten Server kann ich nicht wieder als produktives System einsetzen, weil der nicht genügend RAM hat. Das ist der Grund, warum ich diesen ausgetauscht habe.

 

[Falk R.]

Da das eh alles nur Test ist. Einmal alles auf Factory Default setzen, incl. Bios.
Danach einmal frisch installieren.
Damit hättest du einen sauberen Test.
Die Sipermicro Board sind nicht selten und da das Forum nicht voll mit Problemen bei den Boards ist, vermute ich eher irgendein Problem bei deiner Hardware. Ich habe bei meinen Kunden über 20 X11 Systeme und noch nie Probleme damit gehabt.

 

[TheExpert]

Aber es gibt viele Probleme mit i210 Karten.

Den Server hatte ich im Frühjahr schon komplett frisch mit Proxmox aufgesetzt und von Anfang hatte ich die Probleme mit der i210.

 

[Falk R.]

Ich nutze z.B. die i210 bei meinem Cluster für Corosync und als Failover falls die 10GBit Verbindung mal weg ist, wenn ich den Switch boote oder so.
Da habe ich noch nie Probleme gehabt und Corosync ist ja anfällig was unsaubere Netzwerkverbindungen angeht. Eventuell hängt es auch mit der Implementatio9n des Chips bei den jeweiligen Boardherstellern zusammen.
Wenn du die 210er bei den X11 noch für etwas benötigst, musst du mal einen X11 mit proxmox laufen lassen. Nur weil ein Board Probleme hat, muss das beim anderen ja nicht genauso sein.
Produktiv nutze ich eh nichts mehr unter 10 GBit (außer Corosync), daher mal gucken ob das Setup mit 1GBit überhaupt noch zeitgemäß ist.