Nächste Woche evtl möglich, wenn ich wieder vor Ort bin.
Wie gesagt: bei Auslieferung war es eher so 1-3-5-7 .. immer mit einem freien Slot dazwischen / nur jeder 2. belegt.
Shared LVM gewünscht: FC-SAN?
- Thread starter sgw
- Start date
Wie gesagt: bei Auslieferung war es eher so 1-3-5-7 .. immer mit einem freien Slot dazwischen / nur jeder 2. belegt.
Die GUI reicht völlig, brauchst nicht auf die Shell. Unter Disks → ZFS → Create alle 6 auswählen, RAID10, dann baut PVE dir genau 3 Mirrors aus je 2 Disks und stript drüber. Das ist schon das RAID10.
Vorher den alten Pool wegräumen: Replikationsjobs und Test-VMs löschen, Storage-Eintrag entfernen,
Dann kurz mit
Vorher den alten Pool wegräumen: Replikationsjobs und Test-VMs löschen, Storage-Eintrag entfernen,
zpool destroy <pool> und die 4 Disks einmal wipen, sonst bietet die GUI sie nicht an.Dann kurz mit
zpool status gegenchecken, ob da mirror-0, mirror-1 und mirror-2 mit je 2 Disks stehen. Das gleiche auf pve2 mit gleichem Poolnamen, sonst klappt die Replikation nicht. Schau auch nach, ob pve2 alle 6 NVMes sieht. Wenn der genauso bestückt geliefert wurde, hast du da vermutlich dasselbe Bay-Thema.
Den pve2 haben wir längst genauso umgesteckt! 
Alte Pools sind bereits weg geräumt, ich mache mich nun gleich daran, Deinen Empfehlungen zu folgen, und bin gespannt auf Pool samt resultierender Netto-Kapazität. Erst mal Kaffee holen. DANKE.
Alte Pools sind bereits weg geräumt, ich mache mich nun gleich daran, Deinen Empfehlungen zu folgen, und bin gespannt auf Pool samt resultierender Netto-Kapazität. Erst mal Kaffee holen. DANKE.
bzgl. Fan-Speed etc bin ich anderswo auf Suche und hab einen Hinweis erhalten: https://forum.proxmox.com/threads/hpe-dl325-gen10-plus-os-mode-power-regulator.136017/post-872922 (dies nur zur Doku)
Ich hab es mal auf pve1 mit compression on ausgeführt.
Bash:
# zpool status
pool: zpool
state: ONLINE
config:
NAME STATE READ WRITE CKSUM
zpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246614ED7_1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246500495 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246615254_1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246614ED9_1 ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246615124 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_24024661501D_1 ONLINE 0 0 0
errors: No known data errorsErgibt netto in der GUI 2.77 TB. Sieht valide aus für mich.
Yes, sure. At least on CPUs from the last 10 (or more) years. The induced CPU load is near zero usually.
It works transparently and on my machines I did not do any tuning to get more than 33% space saving on nearly all ZVOLs:
Code:
~# zfs get compressratio -t vol
rpool/data/vm-2205-disk-1 compressratio 1.44x -
rpool/data/vm-2205-disk-2 compressratio 3.37x -
rpool/data/vm-2401-disk-0 compressratio 1.32x -
rpool/data/vm-2402-disk-0 compressratio 1.52x -
rpool/data/vm-2461-disk-0 compressratio 8.84x -----
Nachtrag: die passende Sprache zu verwenden ist manchmal... schwierig :-/
Last edited:
Richtig.
Das hat aber rein gar nichts mit "Compression" zu tun, das ist klar, ja? Komprimierung geschieht dynamisch mit den Daten, die nominell geschrieben werden und dann tatsächlich weniger Platz auf dem Device belegen.
Und weiter im Tagebuch 
Soweit sieht alles fein aus. Cluster läuft, Replication läuft, Backups laufen.
Ich musste feststellen, dass das Board keine 4x 1 Gbit/s NICs on board hat (ich hatte für Corosync an 1Gbit/s per Crossconnect gedacht). Daher werde ich mit 2x10G RJ45 an den Switch gehen, für die VMs, und für Corosync und Replication je 1x 10 G DAC verwenden (der Switch in dem Rack hat 2xSFP28 und die nutze ich für den upstream per LWL, und sonst nur RJ45 10G Ports). Das ist wohl ordentlich überdimensioniert, aber aktuell hab ich die SFP+ Ports an den PVEs ohnehin noch nicht belegt (die hab ich als Basis für Zukünftiges mitbestellt). Vermutlich würde Corosync gemeinsam mit ZFS-Replication auch auf einem DAC vertretbar sein? Aber muss nicht.
Ich bin noch am Suchen wegen Optimierung der Lüfter-Drehzahlen. Das Installieren von
Ich hab das Workload Profile umgestellt auf "Virtualization - Power Efficient", das würde ja super passend klingen. Fan-Speeds nach wie vor auf 50-60%, das erscheint mir viel zu hoch für die aktuell noch sehr niedrige Last (und am zweiten PVE läuft aktuell noch gar keine VM!).
Da bin ich auch in einem HPE-Forum am Fragen, zu Beginn hatte sich
Ich hab ja ein höherwertiges Kühlungssystem passend zum AMD EPYC 73F3 16-Core Processor bestellt, da hätte ich eher vermutet, dass das besser und leiser kühlt, und nicht per default LAUTER ist
So bleibt es also interessant ... Aber es wird schon alles.
Ich mach vermutlich erst am Montag wieder weiter mit diesen Themen.
Danke allen für den Support, schon mal ein schönes Wochenende!
Soweit sieht alles fein aus. Cluster läuft, Replication läuft, Backups laufen.
Ich musste feststellen, dass das Board keine 4x 1 Gbit/s NICs on board hat (ich hatte für Corosync an 1Gbit/s per Crossconnect gedacht). Daher werde ich mit 2x10G RJ45 an den Switch gehen, für die VMs, und für Corosync und Replication je 1x 10 G DAC verwenden (der Switch in dem Rack hat 2xSFP28 und die nutze ich für den upstream per LWL, und sonst nur RJ45 10G Ports). Das ist wohl ordentlich überdimensioniert, aber aktuell hab ich die SFP+ Ports an den PVEs ohnehin noch nicht belegt (die hab ich als Basis für Zukünftiges mitbestellt). Vermutlich würde Corosync gemeinsam mit ZFS-Replication auch auf einem DAC vertretbar sein? Aber muss nicht.
Ich bin noch am Suchen wegen Optimierung der Lüfter-Drehzahlen. Das Installieren von
amsd (und smad) hat nix Merkliches verändert.Ich hab das Workload Profile umgestellt auf "Virtualization - Power Efficient", das würde ja super passend klingen. Fan-Speeds nach wie vor auf 50-60%, das erscheint mir viel zu hoch für die aktuell noch sehr niedrige Last (und am zweiten PVE läuft aktuell noch gar keine VM!).
Da bin ich auch in einem HPE-Forum am Fragen, zu Beginn hatte sich
smad mit Fehlern verabschiedet usw.Ich hab ja ein höherwertiges Kühlungssystem passend zum AMD EPYC 73F3 16-Core Processor bestellt, da hätte ich eher vermutet, dass das besser und leiser kühlt, und nicht per default LAUTER ist
So bleibt es also interessant ... Aber es wird schon alles.
Ich mach vermutlich erst am Montag wieder weiter mit diesen Themen.
Danke allen für den Support, schon mal ein schönes Wochenende!
Last edited:
Corosync und Replikation zusammen auf einem DAC würd ich nicht machen, wenn die Ports eh frei sind. Beim Sync zieht die Replikation die Leitung voll, und genau dann mag Corosync keine Latenzspitzen. So wie du es jetzt geplant hast, passt das. Den Replikations-DAC und das VM-Netz trägst du dann einfach als zusätzliche Corosync-Links mit ein, als Fallback.
Zu den Lüftern: Schau mal im iLO unter Power & Thermal bei Fans/Temperatures, welcher Sensor die Drehzahl treibt. Bei HPE melden Komponenten ohne HPE-Firmware (PCIe-NICs, NVMes) oft keine Temperatur ans iLO. Das iLO zieht die Lüfter dann vorsichtshalber hoch. Deine Micron 7450 tauchen im
Zu den Lüftern: Schau mal im iLO unter Power & Thermal bei Fans/Temperatures, welcher Sensor die Drehzahl treibt. Bei HPE melden Komponenten ohne HPE-Firmware (PCIe-NICs, NVMes) oft keine Temperatur ans iLO. Das iLO zieht die Lüfter dann vorsichtshalber hoch. Deine Micron 7450 tauchen im
zpool status mit der normalen Micron-Bezeichnung auf, das könnten also Retail-Platten sein. Bin mir da aber nicht 100% sicher. Zum Testen auf dem leeren pve2 mal eine der Zusatz-NICs rausnehmen und schauen, ob die Drehzahl runtergeht.Passt, thx. DACs liegen schon da.
Hm, das wäre aber blöde. Das werde ich noch beim Lieferanten der refurbished Server nachhaken, da wäre ich schon davon ausgegangen, dass die solche Komponenten verbauen, die mit dem HPE-Cooling-System "harmonieren".
NIC raus? Ich hätte eher mal die NVMes entfernt (auch wenn das für den gedachten Betrieb nicht geht).
Im HPE-Forum wurde ich wieder auf Workload Profile "static high performance compute" verwiesen. Ich werde das in den nächsten Tagen noch weiter durchprobieren, etwas viele Variablen, quasi. Höhere Fan-Speed bedeutet meiner Ansicht nach auch höheren Verschleiß dort, und so weiter. Einfach unschön.
Für mich sehen die Temps unauffällig aus. Die NVMes sehe ich da gar nicht (?)
LOM Network Card ist auf 64 Grad, da fragt man sich schon, warum. Die darf aber auch hoch sein, laut Angaben zu Critical Temp etc
Das ist der frisch gebootete PVE2, ohne eine laufende VM, Leerlauf quasi. Und die Fans auf 69%, das kann so nicht bleiben.
Ich hab das auch im HPE-Forum so berichtet, mal sehen.
Vor Ort (Entfernen HW) kann ich erst morgen oder im Laufe der Woche sein.
LOM Network Card ist auf 64 Grad, da fragt man sich schon, warum. Die darf aber auch hoch sein, laut Angaben zu Critical Temp etc
Das ist der frisch gebootete PVE2, ohne eine laufende VM, Leerlauf quasi. Und die Fans auf 69%, das kann so nicht bleiben.
Ich hab das auch im HPE-Forum so berichtet, mal sehen.
Vor Ort (Entfernen HW) kann ich erst morgen oder im Laufe der Woche sein.
Allgemein: wie ist der Usus hier drin? Sollte die Diskussion zum Power-Management lieber in einen neuen Thread oder lasse ich das hier so weiter laufen, quasi als besagtes Tagebuch zu diesem Cluster? Sagt mir, wie es die Community hier lieber hat. Fan-Speed ist off-topic relativ zu FC-SAN
Hier noch mal kurz meine Settings, an denen ich grade herum teste:
Siehe auch https://forum.proxmox.com/threads/hpe-dl325-gen10-plus-os-mode-power-regulator.136017/post-872917
Aktuell habe ich das Workload Profile auf "General Power Efficient Compute", so wurde er angeliefert.
"Virtualization - Power Efficient" klingt super, hat nicht wirklich was gebracht.
In ILO unter "Power & Thermal - Power Settings" probiere ich grade statt "OS Control Mode" "Static High Performance Mode" aus, laut Angabe vom HPE-Forum. Auch eher ein Nein.
Ahja, noch relevant: in ILO unter Fans: Thermal Configuration: Optimal Cooling.
Wie erwähnt, habe ich "amsd" und "smad" am Laufen, aus den HPE-Debian-Repos (für Trixie, passend). Angeblich sind die Daemons wichtig für Lüfter-Regulierung, allerdings hat das auch noch nix Merkliches gebracht. Und "smad" loopt teils mit Errors, das habe ich eben auch bei HPE eingeworfen (weil mein Research der Fehlermeldung einen Thread dort zu Tage gebracht hat : https://community.hpe.com/t5/hpe-pr...hpe-gen10-amsd-on-linux-smad-crash-ilo-v3-15/
smad stabilisiert sich dann nach einiger Zeit und die Fehler bleiben weg. Fans aktuell auf 69%, wie gesagt. Inakzeptabel.
Morgen kontaktiere ich den Lieferanten dazu.
Und jetzt lieber mal an die Sonne ... Schönen Tag allen.
Hier noch mal kurz meine Settings, an denen ich grade herum teste:
Siehe auch https://forum.proxmox.com/threads/hpe-dl325-gen10-plus-os-mode-power-regulator.136017/post-872917
Aktuell habe ich das Workload Profile auf "General Power Efficient Compute", so wurde er angeliefert.
"Virtualization - Power Efficient" klingt super, hat nicht wirklich was gebracht.
In ILO unter "Power & Thermal - Power Settings" probiere ich grade statt "OS Control Mode" "Static High Performance Mode" aus, laut Angabe vom HPE-Forum. Auch eher ein Nein.
Ahja, noch relevant: in ILO unter Fans: Thermal Configuration: Optimal Cooling.
Wie erwähnt, habe ich "amsd" und "smad" am Laufen, aus den HPE-Debian-Repos (für Trixie, passend). Angeblich sind die Daemons wichtig für Lüfter-Regulierung, allerdings hat das auch noch nix Merkliches gebracht. Und "smad" loopt teils mit Errors, das habe ich eben auch bei HPE eingeworfen (weil mein Research der Fehlermeldung einen Thread dort zu Tage gebracht hat : https://community.hpe.com/t5/hpe-pr...hpe-gen10-amsd-on-linux-smad-crash-ilo-v3-15/
smad stabilisiert sich dann nach einiger Zeit und die Fehler bleiben weg. Fans aktuell auf 69%, wie gesagt. Inakzeptabel.
Morgen kontaktiere ich den Lieferanten dazu.
Und jetzt lieber mal an die Sonne ... Schönen Tag allen.
Last edited:
Inlet Ambient steht bei dir auf 28°C, das ist für HPE schon eher warm. Die Lüfterkurve hängt stark am Inlet-Sensor, ab etwa 27°C dreht iLO spürbar hoch, auch wenn der Rest kalt ist. Was hat denn der Raum oder die Luft vorne am Rack? Wenn da hinten am Rack warme Abluft zurück nach vorn zieht (fehlende Blindbleche, Rack zu nah an der Wand), würd ich das zuerst angehen. Die LOM-Karte mit 63°C ist bei 105°C Caution egal, die treibt die Lüfter nicht.
Klick mal oben auf "show missing sensors". Da siehst du, welche Bauteile erkannt sind, aber keinen Wert liefern. Wenn die NVMes oder die Zusatz-NICs dort stehen, hast du die Ursache schwarz auf weiß. Das kannst du dem Lieferanten zeigen. Zum Rausziehen nimm auf pve2 trotzdem lieber die NIC. Wenn du eine NVMe ziehst, läuft der Mirror degraded und du musst danach resilvern.
Fürs Power-Thema würd ich nen eigenen Thread aufmachen, dann finden das Leute mit DL385 später auch.
Klick mal oben auf "show missing sensors". Da siehst du, welche Bauteile erkannt sind, aber keinen Wert liefern. Wenn die NVMes oder die Zusatz-NICs dort stehen, hast du die Ursache schwarz auf weiß. Das kannst du dem Lieferanten zeigen. Zum Rausziehen nimm auf pve2 trotzdem lieber die NIC. Wenn du eine NVMe ziehst, läuft der Mirror degraded und du musst danach resilvern.
Fürs Power-Thema würd ich nen eigenen Thread aufmachen, dann finden das Leute mit DL385 später auch.
Gute Tips, danke. Ich werde in den nächsten Tagen, sobald vor Ort, mal testweise die Rückwand des Racks raus nehmen.
Eigentlich ist da viel Luft rund herum, aber wer weiß.
Ich kann die NVMes hier nicht erkennen, aber Du, @Bu66as bist da versierter.
Den Lieferanten hab ich gestern schon angeschrieben dazu.
Eigentlich ist da viel Luft rund herum, aber wer weiß.
Ich kann die NVMes hier nicht erkennen, aber Du, @Bu66as bist da versierter.
Den Lieferanten hab ich gestern schon angeschrieben dazu.
done: https://forum.proxmox.com/threads/hpe-dl385-lüfter-zu-aktiv.187135/
Ich glaub das gerne mit den genannten 27 Grad, im aktuellen Screenshot steht "Inlet Ambient" aber auf nur 23°C .. dies nur am Rande.
Drüben weiter, danke