Nächste Woche evtl möglich, wenn ich wieder vor Ort bin.
Wie gesagt: bei Auslieferung war es eher so 1-3-5-7 .. immer mit einem freien Slot dazwischen / nur jeder 2. belegt.
Shared LVM gewünscht: FC-SAN?
- Thread starter sgw
- Start date
Wie gesagt: bei Auslieferung war es eher so 1-3-5-7 .. immer mit einem freien Slot dazwischen / nur jeder 2. belegt.
Die GUI reicht völlig, brauchst nicht auf die Shell. Unter Disks → ZFS → Create alle 6 auswählen, RAID10, dann baut PVE dir genau 3 Mirrors aus je 2 Disks und stript drüber. Das ist schon das RAID10.
Vorher den alten Pool wegräumen: Replikationsjobs und Test-VMs löschen, Storage-Eintrag entfernen,
Dann kurz mit
Vorher den alten Pool wegräumen: Replikationsjobs und Test-VMs löschen, Storage-Eintrag entfernen,
zpool destroy <pool> und die 4 Disks einmal wipen, sonst bietet die GUI sie nicht an.Dann kurz mit
zpool status gegenchecken, ob da mirror-0, mirror-1 und mirror-2 mit je 2 Disks stehen. Das gleiche auf pve2 mit gleichem Poolnamen, sonst klappt die Replikation nicht. Schau auch nach, ob pve2 alle 6 NVMes sieht. Wenn der genauso bestückt geliefert wurde, hast du da vermutlich dasselbe Bay-Thema.
Den pve2 haben wir längst genauso umgesteckt! 
Alte Pools sind bereits weg geräumt, ich mache mich nun gleich daran, Deinen Empfehlungen zu folgen, und bin gespannt auf Pool samt resultierender Netto-Kapazität. Erst mal Kaffee holen. DANKE.
Alte Pools sind bereits weg geräumt, ich mache mich nun gleich daran, Deinen Empfehlungen zu folgen, und bin gespannt auf Pool samt resultierender Netto-Kapazität. Erst mal Kaffee holen. DANKE.
bzgl. Fan-Speed etc bin ich anderswo auf Suche und hab einen Hinweis erhalten: https://forum.proxmox.com/threads/hpe-dl325-gen10-plus-os-mode-power-regulator.136017/post-872922 (dies nur zur Doku)
Ich hab es mal auf pve1 mit compression on ausgeführt.
Bash:
# zpool status
pool: zpool
state: ONLINE
config:
NAME STATE READ WRITE CKSUM
zpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246614ED7_1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246500495 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246615254_1 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246614ED9_1 ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_240246615124 ONLINE 0 0 0
nvme-Micron_7450_MTFDKCC960TFR_24024661501D_1 ONLINE 0 0 0
errors: No known data errorsErgibt netto in der GUI 2.77 TB. Sieht valide aus für mich.
Yes, sure. At least on CPUs from the last 10 (or more) years. The induced CPU load is near zero usually.
It works transparently and on my machines I did not do any tuning to get more than 33% space saving on nearly all ZVOLs:
Code:
~# zfs get compressratio -t vol
rpool/data/vm-2205-disk-1 compressratio 1.44x -
rpool/data/vm-2205-disk-2 compressratio 3.37x -
rpool/data/vm-2401-disk-0 compressratio 1.32x -
rpool/data/vm-2402-disk-0 compressratio 1.52x -
rpool/data/vm-2461-disk-0 compressratio 8.84x -----
Nachtrag: die passende Sprache zu verwenden ist manchmal... schwierig :-/
Last edited:
Richtig.
Das hat aber rein gar nichts mit "Compression" zu tun, das ist klar, ja? Komprimierung geschieht dynamisch mit den Daten, die nominell geschrieben werden und dann tatsächlich weniger Platz auf dem Device belegen.
Und weiter im Tagebuch 
Soweit sieht alles fein aus. Cluster läuft, Replication läuft, Backups laufen.
Ich musste feststellen, dass das Board keine 4x 1 Gbit/s NICs on board hat (ich hatte für Corosync an 1Gbit/s per Crossconnect gedacht). Daher werde ich mit 2x10G RJ45 an den Switch gehen, für die VMs, und für Corosync und Replication je 1x 10 G DAC verwenden (der Switch in dem Rack hat 2xSFP28 und die nutze ich für den upstream per LWL, und sonst nur RJ45 10G Ports). Das ist wohl ordentlich überdimensioniert, aber aktuell hab ich die SFP+ Ports an den PVEs ohnehin noch nicht belegt (die hab ich als Basis für Zukünftiges mitbestellt). Vermutlich würde Corosync gemeinsam mit ZFS-Replication auch auf einem DAC vertretbar sein? Aber muss nicht.
Ich bin noch am Suchen wegen Optimierung der Lüfter-Drehzahlen. Das Installieren von
Ich hab das Workload Profile umgestellt auf "Virtualization - Power Efficient", das würde ja super passend klingen. Fan-Speeds nach wie vor auf 50-60%, das erscheint mir viel zu hoch für die aktuell noch sehr niedrige Last (und am zweiten PVE läuft aktuell noch gar keine VM!).
Da bin ich auch in einem HPE-Forum am Fragen, zu Beginn hatte sich
Ich hab ja ein höherwertiges Kühlungssystem passend zum AMD EPYC 73F3 16-Core Processor bestellt, da hätte ich eher vermutet, dass das besser und leiser kühlt, und nicht per default LAUTER ist
So bleibt es also interessant ... Aber es wird schon alles.
Ich mach vermutlich erst am Montag wieder weiter mit diesen Themen.
Danke allen für den Support, schon mal ein schönes Wochenende!
Soweit sieht alles fein aus. Cluster läuft, Replication läuft, Backups laufen.
Ich musste feststellen, dass das Board keine 4x 1 Gbit/s NICs on board hat (ich hatte für Corosync an 1Gbit/s per Crossconnect gedacht). Daher werde ich mit 2x10G RJ45 an den Switch gehen, für die VMs, und für Corosync und Replication je 1x 10 G DAC verwenden (der Switch in dem Rack hat 2xSFP28 und die nutze ich für den upstream per LWL, und sonst nur RJ45 10G Ports). Das ist wohl ordentlich überdimensioniert, aber aktuell hab ich die SFP+ Ports an den PVEs ohnehin noch nicht belegt (die hab ich als Basis für Zukünftiges mitbestellt). Vermutlich würde Corosync gemeinsam mit ZFS-Replication auch auf einem DAC vertretbar sein? Aber muss nicht.
Ich bin noch am Suchen wegen Optimierung der Lüfter-Drehzahlen. Das Installieren von
amsd (und smad) hat nix Merkliches verändert.Ich hab das Workload Profile umgestellt auf "Virtualization - Power Efficient", das würde ja super passend klingen. Fan-Speeds nach wie vor auf 50-60%, das erscheint mir viel zu hoch für die aktuell noch sehr niedrige Last (und am zweiten PVE läuft aktuell noch gar keine VM!).
Da bin ich auch in einem HPE-Forum am Fragen, zu Beginn hatte sich
smad mit Fehlern verabschiedet usw.Ich hab ja ein höherwertiges Kühlungssystem passend zum AMD EPYC 73F3 16-Core Processor bestellt, da hätte ich eher vermutet, dass das besser und leiser kühlt, und nicht per default LAUTER ist
So bleibt es also interessant ... Aber es wird schon alles.
Ich mach vermutlich erst am Montag wieder weiter mit diesen Themen.
Danke allen für den Support, schon mal ein schönes Wochenende!
Last edited:
Corosync und Replikation zusammen auf einem DAC würd ich nicht machen, wenn die Ports eh frei sind. Beim Sync zieht die Replikation die Leitung voll, und genau dann mag Corosync keine Latenzspitzen. So wie du es jetzt geplant hast, passt das. Den Replikations-DAC und das VM-Netz trägst du dann einfach als zusätzliche Corosync-Links mit ein, als Fallback.
Zu den Lüftern: Schau mal im iLO unter Power & Thermal bei Fans/Temperatures, welcher Sensor die Drehzahl treibt. Bei HPE melden Komponenten ohne HPE-Firmware (PCIe-NICs, NVMes) oft keine Temperatur ans iLO. Das iLO zieht die Lüfter dann vorsichtshalber hoch. Deine Micron 7450 tauchen im
Zu den Lüftern: Schau mal im iLO unter Power & Thermal bei Fans/Temperatures, welcher Sensor die Drehzahl treibt. Bei HPE melden Komponenten ohne HPE-Firmware (PCIe-NICs, NVMes) oft keine Temperatur ans iLO. Das iLO zieht die Lüfter dann vorsichtshalber hoch. Deine Micron 7450 tauchen im
zpool status mit der normalen Micron-Bezeichnung auf, das könnten also Retail-Platten sein. Bin mir da aber nicht 100% sicher. Zum Testen auf dem leeren pve2 mal eine der Zusatz-NICs rausnehmen und schauen, ob die Drehzahl runtergeht.