Ceph verlangsamt die VM imenz

benjaminbeck

New Member
Aug 23, 2021
5
0
1
25
Moin Moin,

ich habe ein kleines Problem:

Wir haben 3 Maschinen mit Proxmox.
Die sollen im Cluster laufen um eine Hochverfügbarkeit zu garantieren.

Nun folgendes: Wir haben eine virtuelle Windows Maschine wo ein paar sachen drauf laufen.
Sobald die Maschine lokal gespeichert wird klappt alles. Sobald sie im Ceph Storage ist, welcher ja für HA nötig ist (oder?), ist sie super langsam und quasi nicht zu gebrauchen.

Die 3 Server sind alle mit 2x 10Gbit angebunden. Ebenso jeweils 2TB NVME für das ceph storage

Wieso ist die virtuelle Maschine so unglaublich langsam? Gibt es da evtl Sachen die man bei Windows Maschinen besonders beachten muss?

Ist es ggf ratsam (wenn möglich) eine der 10Gbit leitungen NUR für Ceph zu nutzen.

Bin über jede Idee und für jeden trick dankbar!

Schönen Abend noch!
 
Ja es ist empfohlen eine extra Verbindung für Ceph zu nutzen. Ich denke im Wiki und im Forum gibts genügend Anleitungen.
 
Wenn du einen Fehler im Netzwerkdesign hast, kann das sehr langsam machen.
Wenn alles richtig konfiguriert ist, nochmal testen.
 
Wenn du einen Fehler im Netzwerkdesign hast, kann das sehr langsam machen.
Wenn alles richtig konfiguriert ist, nochmal testen.
Das Netzwerk ist korrekt konfiguriert. Wir haben die 10Gbit problemlos erreichen können. Es läuft auch grad nichts anderes über die Netzkarte. Das eigene Netzwerk dafür war auch mehr ein Plan für die zukunft wenn da produktiv maschinen drauf laufen sollen
 
Also ich habe meine Netzwerkkonfiguration nach einer Anleitung im Forum gemacht und bekomme mit billigen SSDs super Werte.
Normales Netzwerk hatte ich vorher auch sauber aber bei der Ceph Konfiguration muss man noch einiges beachten.
 
Ich habe auch nur beim benchmark echt beschissene werte. Ich vermute er geht über die 1Gbit Leitung. Wie kann ich ihn forcen über die 10Gbit Leitung zu gehen?
 
Zum einen: NVMEs werden durch ein 10GB Netz ausgebremst. Du bräuchtest schon ein 100 GB Netz. Daher schonmal ein Teil des Geschwindigkeitsverlustes. Zum anderen: Wie hast Du den Schreibcache eingestellt? Writeback kann dir nochmal einen Schub bei der Performance bringen.
 
10Gbit ist schon sehr wenig für ein System mit NVMes. Prinzipiell ist wichtig:
  • eigenes Netzwerk nur für Ceph (min. 2 Interfaces) bond LACP oder Round Robin möglich (min. 10Gbit)
  • Full Mesh ab 25Gbit vor allem bei NVMes empfohlen: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server spart Switchkosten und gibt gute Performance
  • 2x 10Gbit für das komplette System ist echt nicht zu empfehlen. Für ein Cluster empfehlen wir:
    • 1x Gigabit Port für GUI
    • 1x Gigabit Port für Corosync (Corosync Fallback auf Ceph Network) (unrouted)
    • 2x 10Gbit für VMs
    • 2x 10-100Gbit/s für Ceph (Meshed oder switched setup)
Man sollte da echt nicht sparen, liegt corosync z.B. auf der selben NIC wie die VMs dann kann die Latenz so hoch steigen dass sich die Nodes alle fencen und der komplette Cluster sich neustartet. Prinzipiell könntest du natürlich nur eine 10Gbit NIC für Ceph benutzen, hast halt keine Redundanz dann auf Karten/Kabel-Ebene pro Host + Switche wären dann auch ned redundant. Dann hast du 10Gbit für Ceph, 10Gbit für VMs. GUI kann auf dem VM Port mitlaufen. Bleibt immer noch die Frage wo du den low-Latency-Corosync-Link herstellst (onBoard-NICs vorhanden)?

Ansonsten um die Performance einzuschätzen benötigen wir:
  • cat /etc/pve/ceph.conf
  • cat /etc/network/interfaces von jedem Node
  • deine Benchmarks vom rados bench z.B.
Ob der Traffic über Gbit NIC geht siehst du indem du dir anschaust welche IP fürs Ceph Network verwendet wird und auf welcher NIC diese IP liegt und ob diese Gigabit oder 10Gbit ist (ip a hilft hier weiter)
 
Last edited:
  • Like
Reactions: ITT

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!