Würde es Sinn machen, PVE nochmal neu zu installieren, und z.B. lediglich 150GB der 500GB Disk für das OS zu verwenden, um den verbleibenden Rest später als Cache zum Ceph Pool hinzuzufügen? Nur eine Idee...
Migration ESX -> PVE, extrem langsame VM-Performance
- Thread starter peeronets
- Start date
So eine 1,1 GHz CPU bringt auch nicht viel auf die Straße bei HCI.
Kannst du im BIOS mal die C-States abschalten?
Kannst du im BIOS mal die C-States abschalten?
Kannst du mal einen längeren Test machen und dir während dem Test die Latenzen der OSDs bei Ceph anschauen.
Hallo Zusammen,
ich habe noch einige VMs mehr importiert und merke nun schon deutlich die IO delays...
@mira, ich habe mich nochmal ausgibig mit den C-States bei Intel NUCs beschäftigt.
Gibt es eine einfache Möglichkeit die folgenden Kernel-Parameter zu setzen, dass diese beim Kernel-Patch nicht überschrieben werden?
processor.max_cstate=1
intel_idle.max_cstate=0
Besten Dank!
ich habe noch einige VMs mehr importiert und merke nun schon deutlich die IO delays...
@mira, ich habe mich nochmal ausgibig mit den C-States bei Intel NUCs beschäftigt.
Gibt es eine einfache Möglichkeit die folgenden Kernel-Parameter zu setzen, dass diese beim Kernel-Patch nicht überschrieben werden?
processor.max_cstate=1
intel_idle.max_cstate=0
Besten Dank!
Hallo Zusammen,
hier noch zur Dokumentation eine Zusammenfassung meiner heutigen Anpassungen:
Die cstate-Parameter in die GRUB defaults eintragen und GRUB updaten:
Bash:
# Anpassungen in Zeile 10 der Datei /etc/default/grub vornehmen
nano /etc/default/grub
# Zeile wie folgt anpassen und speichern
GRUB_CMDLINE_LINUX="processor.max_cstate=1 intel_idle.max_cstate=0"
# Danach Grub updaten und System durchstarten
update-grub
reboot
# Nach erfolgtem Reboot kann geprüft werden ob die Settings ziehen
cat /sys/module/intel_idle/parameters/max_cstate
Output: 0Außerdem ist mir auch noch aufgefallen dass einer der drei Hosts nicht auf dem aktuellsten Patchlevel war, nach dem Update fühlt sich Alles auch noch etwas "runder" an.
Ich würde auch mal in Richtung Treiber Deiner Thunderbolt Nics suchen. Eine Latenz von 3 Sekunden liegt meiner Meinung nach eher im Netzwerk als im System selbst. Hatte ich letztens auch und bei mir war es ein Mac Adressen Konflikt im Netz. 2 NICs hatten die identische MAC. Nachdem ich unterschiedliche MACs vergeben hatte war die Latenz wieder sauber.
Aber wie gesagt war das bei mir ein sehr spezieller Fall
Aber wie gesagt war das bei mir ein sehr spezieller Fall
Hi KaiS,
Danke, das war ein wertvoller Tipp! Ich hatte total vergessen, dass ich die Switchports hart auf 10G/Fullduplex eingestellt hatte. Die Aquatia-Adapter liefen auf autoneg... Nunja, kaum auch hart eingestellt, ist die Latency bei 0.15 - 0.16
Die Performance ist deutlich besser!!
Danke, das war ein wertvoller Tipp! Ich hatte total vergessen, dass ich die Switchports hart auf 10G/Fullduplex eingestellt hatte. Die Aquatia-Adapter liefen auf autoneg... Nunja, kaum auch hart eingestellt, ist die Latency bei 0.15 - 0.16
Die Performance ist deutlich besser!!
Kurzes Recap nochmal für mich: Du hast einen Teil deines CePH auf den langsamsten Consumer-SSDs laufen und dennoch kein Problem mit IOPS? Denke gerade darüber nach, meine Server aufzurüsten, würde aber gerne für weniger Anwendungsfälle mit geringerer Performance (z.B. als Storage für Nextcloud) zu günstigen SSDs greifen – aber laufen muss es halt trotzdem...
Es kommt immer drauf an was du erreichen willst.
Wenn du nur Fileservices drauf legen willst und kein ZFS nutzen möchtest, dann spricht erst einmal nix gegen günstige SSDs.
Die schreiben zwar langsamer, aber ich habe bei meinen VMs auch die vDisks mit Cache am laufen. Bei großen Blöcken kann ich meine 10GBit auch fast auslasten, aber meistens dümpeöt eh nur alles vor sich hin und die günstigen SSDs sind recht Sparsam beim Stromverbrauch.
Für meine Kunden im Produktivumfeld kommen mir aber nur Enterprise Komponenten in Frage, man muss halt den Anwendungsfall selbst beurteilen.
Wenn du nur Fileservices drauf legen willst und kein ZFS nutzen möchtest, dann spricht erst einmal nix gegen günstige SSDs.
Die schreiben zwar langsamer, aber ich habe bei meinen VMs auch die vDisks mit Cache am laufen. Bei großen Blöcken kann ich meine 10GBit auch fast auslasten, aber meistens dümpeöt eh nur alles vor sich hin und die günstigen SSDs sind recht Sparsam beim Stromverbrauch.
Für meine Kunden im Produktivumfeld kommen mir aber nur Enterprise Komponenten in Frage, man muss halt den Anwendungsfall selbst beurteilen.