HPE DL385: Lüfter zu aktiv

S

sgw

Active Member
Proxmox Subscriber
Apr 5, 2024
282
73
33
www.oops.co.at
Ursprünglich hab ich das Thema bereits hier umrissen, nachdem das nicht so schnell zu lösen ist, eröffne ich das als separaten Thread, zwecks besserer Übersichtlichkeit.

Symptome

Auf einem refurbished HPE ProLiant DL385 Gen10 Plus mit tagesaktuellem Proxmox (Debian 13.7) laufen die Lüfter zu schnell und zu laut.
Und das auch bei quasi Leerlauf.

Ich habe verschiedene Workload Profiles versucht, an den Cooling-Settings im ILO rumgestellt, aus den HPE-Repos den `amsd` für den "Agentless Management Service" installiert, alles ohne merkliche Verbesserung.
Die Vermutungen gehen in Richtung einer oder mehrerer Komponenten, die von HPE als inkompatibel angesehen werden, daher könnte das Cooling-System extra hoch drehen.

Aktueller Stand auf einem der beiden Server, dabei "stehen" die Fans auf 52% Speed:

1792391092729.png
 
Last edited:
Ich recherchiere "in alle Richtungen" ;)

Der Lieferant ist angeschrieben, ich bin gespannt. Noch könnte ich sogar die NVMes tauschen, wenn erforderlich, aber mal abwarten.

Ein Test wird sein, eine NIC zu entfernen, bzw. die NVMes.

Ich hab auch einen potentiellen Workaround gefunden, den ich aber erst anpassen müsste, falls ich das schaffe:

https://community.hpe.com/t5/hpe-pr...-installed/m-p/7261766/highlight/true#M194399

https://github.com/pfavr/hpe-microserver-gen11-ams-cpqide-agentx-fan-fix

Dazu muss ich aber erst mal feststellen, ob die Ursache in meinem Fall dieselbe ist. Ich werfe das nur mal hier herein, vielleicht hilft es mal jemand Anderem.
 
Wenn die Temperaturen auf deinem Screenshot alle niedrig sind und nichts auch nur in der Nähe von Caution liegt, kommt die hohe Drehzahl nicht von deinen Sensoren. Das passt eher zu deiner Vermutung: Bei HPE dreht das Cooling pauschal hoch, wenn iLO von einer Komponente keine Temperatur lesen kann. Das passiert gern bei NICs oder NVMes ohne HPE-Firmware. Tauchen in der Temperaturliste im iLO überhaupt Werte von den NVMes oder den Karten in den Slots auf?

Schau mal ins IML im iLO, ob da Einträge zu unbekannten oder nicht unterstützten Geräten stehen. Welche iLO- und System-ROM-Version läuft bei dir? Bei refurbished Kisten ist die Firmware oft ziemlich alt, ein aktuelles SPP drüberzuziehen hat bei uns schon mal einiges an Lüfterverhalten geradegebogen. Und welche NIC- und NVMe-Modelle stecken drin? Dein geplanter Test, die Karten einzeln rauszunehmen, ist auf jeden Fall der schnellste Weg, um den Verursacher zu finden.
 
* iLO5: 3.21 vom 30.07.2026 .. soweit ich online sehe, gäbe es bereits 3.22 / aber das ist einigermaßen am Stand
* System ROM: A42 v3.92 (11/27/2025) .. das klingt eher nicht so toll. Da gehe ich also auf 4.20

Ich war ja naiv und dachte, das Zeugs käme mit der aktuellsten Firmware etc. :rolleyes:

Jetzt kann ich mich damit auch noch befassen ... Naja, ich versuche mal, einen der Server dementsprechend zu aktualisieren.

Das IML sagt mir nix Eindeutiges von wegen unbekannter Devices. Ich hab es mal geleert und sehe dann wieder mal drin nach.
 
Hier noch ein Screenshot aus dem aktualisierten ILO, mit den NICs (bei laufendem `amsd`).

Der Adapter 2 ist "Unknown", aber das hat vielleicht damit zu tun, dass dort noch nichts angeschlossen ist. Dort kommen die DACs dran, voraussichtlich am Mittwoch.


Bildschirmfoto vom 2026-10-19 11-39-03-obfuscated.png
 
Temperaturen sehen OK aus, obwohl bei den umliegenden Temperaturen die LOM nicht so warm sein sollte, außer es fehlt eins von den Luftleitelementen.
Aber deswegen sollten die Lüfter nicht hoch drehen.
Hast du eventuell eine PCI Karte drin, die nicht angezeigt wird? Z.B. bei unbekannten GPUs gehen die Lüfter automatisch auf 100%.
 
  • Like
Reactions: sgw
Falk R. said:
Temperaturen sehen OK aus, obwohl bei den umliegenden Temperaturen die LOM nicht so warm sein sollte, außer es fehlt eins von den Luftleitelementen.
Aber deswegen sollten die Lüfter nicht hoch drehen.
Hast du eventuell eine PCI Karte drin, die nicht angezeigt wird? Z.B. bei unbekannten GPUs gehen die Lüfter automatisch auf 100%.
Click to expand...
Ich hab die eine NIC im Verdacht: Adapter 2 Intel X520-2.
Keine extra GPU drinnen.
 
Server mögen grundsätzlich keine fremde Hardware.
Hatte ich zur genüge mit Dell Servern (r720, r730, r740).
Kaum ist etwas drin, dass sich nicht mit einer Dell Firmware/Mac/sonstige hwid meldet, schon geht der Lüfterturbo los.

Ist das eine HP-Karte, oder kommt die wo anders her?
Evtl macht es sinn das Teil durch eine HP-gebrandete Karte zu erstzen.
Die x520 sollten inzwischen zu Ramschpreisen verfügbar sein.
 
Auf deinem Sensor-Screenshot ist mir noch was aufgefallen: Die X520 steckt laut iLO in PCI-E Slot 3, und genau 34-PCI 3 steht bei den Temperaturen auf "Absent". Nur 35-PCI 3 Zone liefert einen Wert. iLO bekommt von der Karte also keine eigene Temperatur, und das passt dazu, dass Status und Ports auf "Unknown" stehen. Die DACs werden daran nichts ändern, die Firmware 1.3862.0 sieht ja nicht nach HPE-Firmware aus. Die Micron 7450 melden dagegen sauber ihre 32°C, die würde ich erstmal nicht als Ursache sehen und vor dem Tausch zurückstellen.

Für den Test würd ich daher nur die X520 ziehen, Lüfter ein paar Minuten laufen lassen und schauen, ob die 52% runtergehen. Wenn ja, ist das der Verursacher, und dann ist der Vorschlag von @beisser mit einer HPE-gebrandeten Karte der saubere Weg. IIRC war die HPE 560SFP+ der Intel-82599-Ableger, ob die offiziell für den Gen10 Plus gelistet ist, müsstest du aber in den QuickSpecs prüfen.
 
  • Like
Reactions: sgw
beisser said:
Server mögen grundsätzlich keine fremde Hardware.
Hatte ich zur genüge mit Dell Servern (r720, r730, r740).
Kaum ist etwas drin, dass sich nicht mit einer Dell Firmware/Mac/sonstige hwid meldet, schon geht der Lüfterturbo los.

Ist das eine HP-Karte, oder kommt die wo anders her?
Evtl macht es sinn das Teil durch eine HP-gebrandete Karte zu erstzen.
Die x520 sollten inzwischen zu Ramschpreisen verfügbar sein.
Click to expand...

Die Karte war beim Anbieter der refurbished Server in der Auswahl für diesen Server. Daher war ich davon ausgegangen, dass das eine mit HPE kompatible Karte ist, die nicht stört. Aber noch weiß ich es ja nicht zu 100%, das zeigt erst der Test mit dem Entfernen, vermutlich morgen.

Der Kontakt beim Lieferanten hat noch nicht geantwortet, aber da hake ich definitiv nach, sobald ich genauer weiß, wie sich die Lüfter bei Entfernen der NIC verhalten.
 
  • Like
Reactions: Bu66as
Bu66as said:
Auf deinem Sensor-Screenshot ist mir noch was aufgefallen: Die X520 steckt laut iLO in PCI-E Slot 3, und genau 34-PCI 3 steht bei den Temperaturen auf "Absent". Nur 35-PCI 3 Zone liefert einen Wert. iLO bekommt von der Karte also keine eigene Temperatur, und das passt dazu, dass Status und Ports auf "Unknown" stehen. Die DACs werden daran nichts ändern, die Firmware 1.3862.0 sieht ja nicht nach HPE-Firmware aus. Die Micron 7450 melden dagegen sauber ihre 32°C, die würde ich erstmal nicht als Ursache sehen und vor dem Tausch zurückstellen.

Für den Test würd ich daher nur die X520 ziehen, Lüfter ein paar Minuten laufen lassen und schauen, ob die 52% runtergehen. Wenn ja, ist das der Verursacher, und dann ist der Vorschlag von @beisser mit einer HPE-gebrandeten Karte der saubere Weg. IIRC war die HPE 560SFP+ der Intel-82599-Ableger, ob die offiziell für den Gen10 Plus gelistet ist, müsstest du aber in den QuickSpecs prüfen.
Click to expand...

Danke für das genaue Hinsehen, ja, das klingt sehr "vielversprechend". Am Liebsten würde ich gleich hinfahren und das ausprobieren, aber ich muss meinen Besuch mit dem Elektriker koordinieren, weil auch noch was bezgl. der Glasfaser fehlt. Erst mal hab ich gestern den 2. PVE ausgeschaltet, damit es ruhiger und kühler bleibt ;)

Aktuell wieder Fans auf etwa 50% ... nun ja. Geduld also ...
 
  • Like
Reactions: Bu66as
Ich war bereits gestern vor Ort, komme aber erst jetzt zu diesem Posting.

Das Entfernen der Intel-NICs macht einen Unterschied, aktuell laufen die Fans auf etwa 30%.
Das könnte noch besser sein, aber ich fürchte, der Schrank ist dazu nicht ideal belüftet.

Diese LOM-Card ist nach wie vor zu warm für mein "Gefühl", aber ich hab keine Erfahrung damit.
Jetzt warte ich auf Bescheid vom Lieferanten, wegen Austausch/Rücksendung etc.

(aktuell noch einer der Nodes auf dem Virtualization Workload Profile, macht bislang keinen merklichen Unterschied. amsd enabled. Testweise ondemand-Governor.)

Bis dahin fehlt mir also noch ein Crossconnect für die saubere Trennung von Replication, Corosync etc / aber ich kann sehr wohl weiter an den neuen VMs arbeiten etc.

Ein Phänomen hat mich gestern noch einige Zeit gekostet: nach dem Umbau und weil einiges noch neu verkabelt wurde, hab ich alles neu hochgefahren, und dabei kam auf einem der beiden Nodes die NIC nic1 nicht UP, die mittels einem Kabel quer zum anderen läuft. Das hatte davor problemlos geklappt.

Der Witz war: die NIC wurde auf einem Node als UP, das Gegenstück als DOWN angezeigt, und nicht mal das explizite Entfernen des Kabels hat daran was geändert. Ich kriegte das erst durch kompletten Shutdown und Strom-Entzug weg (denke ich ...).

VIelleicht wegen Bonding auf nic0, vielleicht hat die Karte / der Treiber fälschlich nic1 da auch mit eingebunden oder so was.

Zur Erinnerung, das ist einer der beiden Ports auf dieser Karte:

# lspci | grep net
85:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)
85:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)

Das hier ist die Config, die mittlerweile wieder problemlos läuft:

auto lo
iface lo inet loopback

auto nic0
iface nic0 inet manual

auto nic1
iface nic1 inet static
address 172.16.16.1/24

auto bond0
iface bond0 inet manual
bond-slaves nic0
bond-miimon 100
bond-mode 802.3ad

auto vmbr10
iface vmbr10 inet manual
bridge-ports bond0.10
bridge-stp off
bridge-fd 0
# DMZ

auto vmbr20
iface vmbr20 inet manual
bridge-ports bond0.20
bridge-stp off
bridge-fd 0
# UNUSED

auto vmbr0
iface vmbr0 inet static
address 192.168.16.212/24
gateway 192.168.16.111
bridge-ports bond0
bridge-stp off
bridge-fd 0


Sobald ich wieder mehr Ports drin habe, soll Replication und Corosync auf nic2 und nic3 wandern, und nic1 noch dazu ins bond0. Overkill, aber why not?

Das ist jetzt kein akutes Problem, ich notiere es nur. Aktuell alles roger.
 
  • Like
Reactions: Bu66as
Kleines Update, noch nicht fertig: der Lieferant bietet mir eine HPE 546SFP+ NIC als Ersatz an, ich hab dem 2x klar gemacht, dass die Karte mit ILO etc kompatibel sein muss. Mal sehen, wie das dann tut. Nachdem es eine HPE-NIC ist, bin ich mal naiv und denke, das könnte klappen.

Empfehlung am Rande für HPE-ILO-User:

Ich habe mir heute diesen Exporter in Prometheus gebaut: https://github.com/jaba0x/ilo-exporter

Blog-Artikel dazu: https://clihero.com/blog/ilo-exporter-hpe-server-health-prometheus-grafana/

Ganz neues Projekt von letzter Woche. Habe es in 2 Cluster eingebaut, bei einem hat es etwas gezickt, bis ein Reboot der ILOs half ...

Die Dashboards sehen super aus, da sehe ich die ganzen Sensoren, Inlets usw und so fort. Fan-Speed derzeit 31%, btw.

Ohne Gewähr, aber ich bin bislang ganz happy mit dem Teil. Sogar inkl. Alert Rules, mal schauen.
 
hatte das gleiche Problem mit einem DL20.
Lösung war damals sources hinzuzufügen.
Nur leider gibt es da ein Problem. Proxmox Debian basiert auf Version trixie und supported wird gen10 nur bis bookworm.

Jedenfalls als ich das letzt mal geschaut habe.

Da es bei mir aktuell läuft, habe ich mich nicht weiter damit beschäftigt. Vielleicht findest du ja was raus und kannst uns bereichten.


https://downloads.linux.hpe.com/SDR/project/fwpp-gen10/
 
IsThisThingOn said:
hatte das gleiche Problem mit einem DL20.
Lösung war damals sources hinzuzufügen.
Nur leider gibt es da ein Problem. Proxmox Debian basiert auf Version trixie und supported wird gen10 nur bis bookworm.

Jedenfalls als ich das letzt mal geschaut habe.

Da es bei mir aktuell läuft, habe ich mich nicht weiter damit beschäftigt. Vielleicht findest du ja was raus und kannst uns bereichten.


https://downloads.linux.hpe.com/SDR/project/fwpp-gen10/
Click to expand...
Ich denke, ich habe bereits berichtet ;-)
Du sprichst von den HPE-Repos für Debian Trixie? Die gibt es und die klappen bei mir.
 
  • Like
Reactions: Bu66as
sorry, steh grad auf dem Schlauch. Du hast schon firmware usw installiert und dadurch drehten die Lüfter mit massiv weniger %?
Und die minimum fan speed in ILO gesetzt?

Ich frage so doof, weil vor der MCP oder firmware installation (ist zu lange her, kann mich nicht mehr erinnern), liefen meine Fans auf minimum 40%.
Jetzt laufen sie mit 6%.
 
DIe 2 Server laufen nun mit 29% Fan-Speed, bei ca. 20 Grad Inlet Temperature soeben.
Testweise "amsd" und "smad" gestoppt, scheint egal zu sein.

* amsd aus den HPE-Repos
* ILO und System ROM aktualisiert
* Powermanagement Firmware scheint aktuell zu sein
* Problematische NICs Intel entfernt (siehe oben, waren als "Unknown" ohne Temp im ILO zu sehen); seither lower fan speed
 
  • Like
Reactions: Bu66as
You must log in or register to reply here.
Top Bottom
Back