Strom sparen - tiefe C-States nur ohne aktive VMs

[suschmania]

Hallo zusammen,
mein erster Post hier und ich hoffe, ihr könnt mir ein zwei Tipps zu meinem Problem geben.
Ich bin recht neu in der Proxmox Welt und komme von XPEnology baremetal zu Proxmox VE. Hier habe ich XPenology in eine VM gepackt.
Anleitung durchgeführt wie hier beschrieben (nutze RedPill als Loader und nicht ARC):
https://blog.nootch.net/post/poor-mans-synology-nas-on-proxmox/

Unterschied: Ich habe nicht einzelne Festplatten, sondern den ganzen SATA Controller an die VM durchgereicht.

Mein Problem: Ist die VM aus, dann erreiche ich einen C-State von c6. Tiefer gehe ich im BIOS nicht, weil sich dann Proxmox beim booten stets aufhängt (c8 hatte ich einmal erfolgreich, aber es hängt oft beim initialisieren "willkürlich", mal bei den SATA Controllern, mal bei der NVMe.... C6 ist stabil, passt für mich.
Habe ich die VM aktiviert, dann erreiche ich überhaupt keine C States.
Wo könnte ich hier ansetzen?

Meine Hardware:

• Mainboard: CWWK NAS-ADLN-K mit N100 Prozessor.
• RAM: 16 GB (Kingston 9905790-191.A00G SODIMM DDR5)
• Festplatten: 3x WD Red Plus mit jeweils 8TB (ext4 im Raid 5), 1 SSD Crucial MX500 (aktuell ohne Raid, es kommen noch 2 SSD hinzu). Sie hängen alle am ASM1166 Controller (direkt am Mainboard).
• 2 250GB NVMe Festplatten direkt am Mainboard (Proxmox mit btrfs im raid 1). Aktuell sind hier auch die VMs drauf, ich plane aber das zu separieren.
• PCIe ist nichts weiter verbunden.

Wo könnte ich hier ansetzen?
Danke und ach ja, Frohe Weihnachten

 

[Impact]

Passieren diese Hänger auch nachdem das Microcode Paket installiert wurde? Warum wird die VM ausgeschalten?

 

[news]

Ich habe schon länger Artikel geschrieben, aber dann war der ganze Beitrag Weg! So habe ich meinen Eintrag nicht veröffentlichen können. Nun sieht es halt so aus, diese Hardware ist schlecht. ich hatte schon alles ausgeführt, aber wie gesagt mein Eintrag konnte nicht veröffentlicht werden. dann soll man sich mal genau anschauen, was diese asmedia Controller denn für Möglichkeiten bietet und wie er PCI Express mäßig angeschlossen wurde. Dann wird man erkennen, dass mehr als vier SATA 3 Geräte nicht angeschlossen werden sollten. Die Geschwindigkeit ist limitiert! Das andere Problem ist natürlich die Netzwerkschnittstelle, die Macht entsprechende Probleme und wird noch ein Heidenspaß für dich sein. Konsequenz war meines Einschreibens: die Hardware wegzulegen niemals zu benutzen und sich einen dediziertes System aufzubauen. dann kann man auch davon ausgehen, dass das beides: CPU und BIOS korrekt funktionieren und man andere Netzwerk Hardware verwenden kann. Wenn du das jetzt nicht direkt realisieren kannst gut dann machen wir eine halbes Jahr weiter versuchen Fehler zu beseitigen, die man nicht beseitigen kann, und ärgere dich dein Leben lang über diese Entscheidung.

 

[news]

(Proxmox mit btrfs im raid 1

Welcher Gedanke hat einen den hier geritten? Ist das wieder so ein Home Setup von Leuten die von nichts eine Ahnung haben? Will mal kein System haben was zumindestens grundsätzlich funktioniert und nutzbar ist? Ich verstehe solche Spielereien einfach nicht! Und es macht mich einfach sprachlos, wie oft diese Art von Systemen Probleme machen, fast 100%, und die Leute nicht verstehen, dass sie eine spielhardware verwenden wollen.

 

[Neobin]

Ich habe schon länger Artikel geschrieben, aber dann war der ganze Beitrag Weg! So habe ich meinen Eintrag nicht veröffentlichen können. Nun sieht es halt so aus, diese Hardware ist schlecht. ich hatte schon alles ausgeführt, aber wie gesagt mein Eintrag konnte nicht veröffentlicht werden. dann soll man sich mal genau anschauen, was diese asmedia Controller denn für Möglichkeiten bietet und wie er PCI Express mäßig angeschlossen wurde. Dann wird man erkennen, dass mehr als vier SATA 3 Geräte nicht angeschlossen werden sollten. Die Geschwindigkeit ist limitiert! Das andere Problem ist natürlich die Netzwerkschnittstelle, die Macht entsprechende Probleme und wird noch ein Heidenspaß für dich sein. Konsequenz war meines Einschreibens: die Hardware wegzulegen niemals zu benutzen und sich einen dediziertes System aufzubauen. dann kann man auch davon ausgehen, dass das beides: CPU und BIOS korrekt funktionieren und man andere Netzwerk Hardware verwenden kann. Wenn du das jetzt nicht direkt realisieren kannst gut dann machen wir eine halbes Jahr weiter versuchen Fehler zu beseitigen, die man nicht beseitigen kann, und ärgere dich dein Leben lang über diese Entscheidung.

Welcher Gedanke hat einen den hier geritten? Ist das wieder so ein Home Setup von Leuten die von nichts eine Ahnung haben? Will mal kein System haben was zumindestens grundsätzlich funktioniert und nutzbar ist? Ich verstehe solche Spielereien einfach nicht! Und es macht mich einfach sprachlos, wie oft diese Art von Systemen Probleme machen, fast 100%, und die Leute nicht verstehen, dass sie eine spielhardware verwenden wollen.

Wie genau helfen diese ganzen geistigen Ergüsse nun dem Threadersteller bei seinem spezifischem Problem?

Dem Hilfesuchenden zu sagen, dass er seine (günstige/billige/"schlechte") Consumer(/"China")-Hardware auf den Elektroschrott werfen und sich etwas "Vernünftiges" (für, in der Regel, das Mehrfache / ein Vielfaches an Kosten) zulegen soll, könnte man bei sehr vielen der Beiträge hier machen.
Hilft das den Hilfesuchenden? Ist das der Sinn eines Community-Forums? Wohl eher nicht...

 

[Johannes S]

Naja news hat schon einen Punkt ( den ich aber anders formuliert hätte), mir erschließt sich nämlich auch nicht, warum man btrfs verwendet, wenn das noch im technology-preview Status ist.
Mit den c-states hat das verwendete Dateisystem allerdings nichts zu tun

 

[cwt]

Egal ob jetzt Chinaboard, Markenteil oder hochwertiger Server: das Durchreichen eines onboard Controllers ist meist mit Problemen behaftet, ob klassische North-Southbridge oder SoC. BTRFS wird schon länger als „mature“ angesehen. Man sollte es aber vielleicht nicht gerade in RAID5/6 setups verwenden, eher in RAID1/10. Es bringt eine gewisse Komplexität mit sich (Subvolumes, Balancing, Quotas, Scrub, etc.) und sollte regelmäßig gewartet werden.

Back to topic: sobald der Controller durchgereicht wird, verliert der PVE die Kontrolle über die Power-States und kann ASPM nicht mehr „erzwingen“. Dann läuft der Controller im mode D0 (full active). C8/10 geht dann sowieso nicht, auch C6 ist dann bei den N100 problematisch. Dazu kommt, das Synology DSM sehr „wach“ ist (bare-metal oder virtuell). SMART, file system events, mdadm RAID, usw. Selbst ohne I/Os gibt es regelmäßige MSI-interrupts und wakeups pro Sekunde. Dazu kommt, dass der ASM1166 für seine miese ASPM-Implementierung bekannt ist.

Alternative zu dem ohnehin fragwürdigen RedPill Loader wäre Virtual DSM unter Docker. Dann lieber eine sinnvolle ZFS Lösung unter PVE, VM mit Linux, Docker drauf und VDSM.

 

[suschmania]

Guten Abend zusammen und danke für die ganzen bisherigen Antworten.
Ich bin gerade nur am Handy, daher keine Links oder verweise...
Zu den bisherigen Kommentaren:
Ich habe die vm nur testweise ausgestellt um mir den Stromverbrauch eben anzusehen. Dabei habe ich dann diese Auffälligkeit erkannt, dasa eben keine c states mehr möglich sind.

Das genannte Board habe ich mir erst zu black Friday gegönnt, vorher war ich mit einem as Rock j3355 itx unterwegs. Dieses hat aber meine 2,5gbit (über USB Dingle) CPU seitig mit shr als Dateisystem (da noch mit 6 Platten) nicht gepackt --> das cwwk gegönnt.
Das nicht mehr als 4 Platten angeschlossen werden sollten wegen dem pcie 3 x1 internen Anschluss ist mir bewusst. Sobald die ssds da sind kommt ein weiterer sata-controller via pcie dazu (dann ist die Aufteilung 3x3 Festplatten).

Proxmox habe ich mit einem raid 1 aufsetzen wollen. Es scheint mir schwieriger eine gesamte proxmox Installation neu zu machen anstatt nur die vms aus einem Backup wieder zurück zu spielen.
Zfs ist RAM lastig und die einzige andere Alternative war eben btrfs welches wohl im raid 1 kaum / keine Probleme machen sollte (ich gehe davon aus trotz dass es eine preview implementation von proxmox ist).

Der asm1166 wurde mit einer Firmware von Silverstone geflasht, wo aspm wohl gut funktionieren soll (zumindest die Kollegen im Unraid forum bestätigen dies).

Die Alternative mit virtual dsm werde ich mir ansehen.

Ich hatte auch schon true nas getestet ( viel zu umfangreich) und open media vault - bei beiden hatte ich komischerweise kein Problem stets im c10 state zu sein.

 

[Johannes S]

Zfs ist RAM lastig und die einzige andere Alternative war eben btrfs welches wohl im raid 1 kaum / keine Probleme machen sollte (ich gehe davon aus trotz dass es eine preview implementation von proxmox ist).

ZFS ist NICHT ram-lastiger als andere Dateisysteme, außer man benutzt die Deduplizierung (was man normalerweise nicht tut und auch nicht tun sollte). Da gab es in der letzten ZFS_Version außerdem Änderungen, die da den RAM-Verbrauch reduzieren sollen (im Normalfall braucht man das Feature trotzdem nicht). Der vermeintliche RAM-Mehrgebrauch kommt daher, dass in früheren Proxmox-Installationen standardmäßig 50% für den ARC-Cache verwendet wurden. Andere Dateisysteme verwenden zwar auch den RAM als Cache, das passiert da aber über einen Mechanismus des Kernels (und wird darum auch anders angezeigt). Auf aktuellen ProxmoxVE-Systemen wird aber nie mehr als 10% des vorhandenen RAMs oder 16 GB (was auch immer niedriger ist) genommen und lässt sich auch anpassen:
https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_limit_memory_usage
Mehr zum Linux page cache und ZFS ARC Cache:

J

[TUTORIAL] Thread 'FABC: Why is ProxmoxVE using all my RAM and why can't I see the real RAM usage of the vms in the dashboard?'

May 7, 2025

This article is about a question frequently answered by community members. It was inspired by UdoBs great FabU posts ( https://forum.proxmox.com/search/7994094/?q=FabU&c[title_only]=1&c[users]=UdoB ) and aims to give an in depth-explaination to an often asked question so it can be referenced in future threads. It will be changed as needed, any Feedback/suggestions welcome

My dashboard shows that most of my RAM is used although my VMs and LXCs only have a small fraction allocated. Is this a memory leak bug?

Propably not. First you need to know that ProxmoxVE is based on Debian Linux...

• Johannes S
• cache dashboard fabc kernel linux memory monitoring ram tutorial zfs
• Replies: 7
• Forum: Proxmox VE: Installation and configuration

• 

C

Thread 'ZFS ARC compared to linux page cache.'

May 11, 2025

Hi guys, I have decided to make this thread as there is threads popping up related to the ARC.

In my experience ZFS ARC is a lot more polite than the old 'host page cache', and is also actually much more configurable. However its defaults are not necessarily suited for proxmox due to that ARC usage isnt considered as available by the linux kernel.

If you use ext4 on the host, then the page cache will be used by the operating system, this cache can consume almost all of your free ram, has a dumb eviction mechanism, is barely configurable, and if swap file is enabled will usually...

• chrcoluk
• Replies: 6
• Forum: Proxmox VE: Installation and configuration

• 

Also: Es kann legitime Gründe geben, ZFS nicht einzusetzen, der RAM-Verbrauch ist keiner davon.

Ich hatte auch schon true nas getestet ( viel zu umfangreich) und open media vault - bei beiden hatte ich komischerweise kein Problem stets im c10 state zu sein.

Hast du die als VM unter ProxmoxVE oder direkt auf der NAS getestet? Direkt auf der NAS umgeht ja das Problem mit dem Passthrough, klar hat man dann kein Problem.

 

[suschmania]

Danke, vielleicht setze ich dann proxmox nochmal neu mit zfs auf. Daten sind auf den hdds auch noch keine wichtigen vorhanden.
Ja, omv hatte ich direkt baremetal genutzt. Hier lief der Bootprozess jedes Mal ohne Probleme durch, während bei proxmox dies nicht geklappt hat. Und dann endete es eben im c10
Vielleicht macht ich mal omv als vm I'm proxmox und schaue was dann passiert, gute Idee.

BTW später kommt neben Immich und teddycloud keine vm oder ein container hinzu (zumindest die Planung aktuell)