Ceph verlangsamt die VM imenz

[benjaminbeck]

Moin Moin,

ich habe ein kleines Problem:

Wir haben 3 Maschinen mit Proxmox.
Die sollen im Cluster laufen um eine Hochverfügbarkeit zu garantieren.

Nun folgendes: Wir haben eine virtuelle Windows Maschine wo ein paar sachen drauf laufen.
Sobald die Maschine lokal gespeichert wird klappt alles. Sobald sie im Ceph Storage ist, welcher ja für HA nötig ist (oder?), ist sie super langsam und quasi nicht zu gebrauchen.

Die 3 Server sind alle mit 2x 10Gbit angebunden. Ebenso jeweils 2TB NVME für das ceph storage

Wieso ist die virtuelle Maschine so unglaublich langsam? Gibt es da evtl Sachen die man bei Windows Maschinen besonders beachten muss?

Ist es ggf ratsam (wenn möglich) eine der 10Gbit leitungen NUR für Ceph zu nutzen.

Bin über jede Idee und für jeden trick dankbar!

Schönen Abend noch!

 

[Falk R.]

Ja es ist empfohlen eine extra Verbindung für Ceph zu nutzen. Ich denke im Wiki und im Forum gibts genügend Anleitungen.

 

[benjaminbeck]

Ja es ist empfohlen eine extra Verbindung für Ceph zu nutzen. Ich denke im Wiki und im Forum gibts genügend Anleitungen.

okay zu dem eigentlichen problem kannst du mir aber nicht helfen oder?

 

[Falk R.]

Wenn du einen Fehler im Netzwerkdesign hast, kann das sehr langsam machen.
Wenn alles richtig konfiguriert ist, nochmal testen.

 

[benjaminbeck]

Wenn du einen Fehler im Netzwerkdesign hast, kann das sehr langsam machen.
Wenn alles richtig konfiguriert ist, nochmal testen.

Das Netzwerk ist korrekt konfiguriert. Wir haben die 10Gbit problemlos erreichen können. Es läuft auch grad nichts anderes über die Netzkarte. Das eigene Netzwerk dafür war auch mehr ein Plan für die zukunft wenn da produktiv maschinen drauf laufen sollen

 

[Falk R.]

Also ich habe meine Netzwerkkonfiguration nach einer Anleitung im Forum gemacht und bekomme mit billigen SSDs super Werte.
Normales Netzwerk hatte ich vorher auch sauber aber bei der Ceph Konfiguration muss man noch einiges beachten.

 

[benjaminbeck]

Ich habe auch nur beim benchmark echt beschissene werte. Ich vermute er geht über die 1Gbit Leitung. Wie kann ich ihn forcen über die 10Gbit Leitung zu gehen?

 

[Falk R.]

Im PVE Wiki gibts eigentlich alle Informationen, z.B. https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server

 

[Kiotsoukis]

Zum einen: NVMEs werden durch ein 10GB Netz ausgebremst. Du bräuchtest schon ein 100 GB Netz. Daher schonmal ein Teil des Geschwindigkeitsverlustes. Zum anderen: Wie hast Du den Schreibcache eingestellt? Writeback kann dir nochmal einen Schub bei der Performance bringen.

 

[jsterr]

10Gbit ist schon sehr wenig für ein System mit NVMes. Prinzipiell ist wichtig:

• eigenes Netzwerk nur für Ceph (min. 2 Interfaces) bond LACP oder Round Robin möglich (min. 10Gbit)
• Full Mesh ab 25Gbit vor allem bei NVMes empfohlen: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server spart Switchkosten und gibt gute Performance
• 2x 10Gbit für das komplette System ist echt nicht zu empfehlen. Für ein Cluster empfehlen wir:
  • 1x Gigabit Port für GUI
  • 1x Gigabit Port für Corosync (Corosync Fallback auf Ceph Network) (unrouted)
  • 2x 10Gbit für VMs
  • 2x 10-100Gbit/s für Ceph (Meshed oder switched setup)

Man sollte da echt nicht sparen, liegt corosync z.B. auf der selben NIC wie die VMs dann kann die Latenz so hoch steigen dass sich die Nodes alle fencen und der komplette Cluster sich neustartet. Prinzipiell könntest du natürlich nur eine 10Gbit NIC für Ceph benutzen, hast halt keine Redundanz dann auf Karten/Kabel-Ebene pro Host + Switche wären dann auch ned redundant. Dann hast du 10Gbit für Ceph, 10Gbit für VMs. GUI kann auf dem VM Port mitlaufen. Bleibt immer noch die Frage wo du den low-Latency-Corosync-Link herstellst (onBoard-NICs vorhanden)?

Ansonsten um die Performance einzuschätzen benötigen wir:

• cat /etc/pve/ceph.conf
• cat /etc/network/interfaces von jedem Node
• deine Benchmarks vom rados bench z.B.

Ob der Traffic über Gbit NIC geht siehst du indem du dir anschaust welche IP fürs Ceph Network verwendet wird und auf welcher NIC diese IP liegt und ob diese Gigabit oder 10Gbit ist (ip a hilft hier weiter)