Performence Probleme mit LXC ubuntu Festplattenzugriffe

[MSCH]

Hallo,
ich brauche mal Eure Hilfe.
Ich habe eine 3 Node Cluster mit jeweils 3 SAS 12Gbps (ST4000NM0025) diese gehören zu einem ceph RBD.
Diese Platten dienen im LXC als Datenspeicher nur leider sind dort sehr schlechte Schreibwerte vorhanden.
Ohne Last sind es
beim Schreiben 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 8.23298 s, 130 MB/s
und beim Lesen 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.266545 s, 4.0 GB/s
Beim ursprünglichen System habe ich die gleiche Schreibleistung nur sind es dort SATA 6Gbps Platten.

Wie ist das zu begründen und was kann ich machen?

Viele Grüße
Michael

 

[MSCH]

Gibt es niemanden der mir ein paar Auskünfte geben kann?
Z.B.
Macht es überhaupt Sinn die Datenpartition mit einer ceph's Platte innerhalb eines LXC zu realisieren?
Wie sehen z.B. Eure Lösungen im Ansatz aus?
Sollte ich lieber ein externes NFS Storage verwenden?
Wie kommt es zu solchen Performence Einbußen?
Wie sehen denn bei Euch die Festplattenzugriffsgeschwindigkeiten lesen und vor allem schreiben aus?

Z.B. hat ein LXC folgende Einstellungen: (Ubuntu 20.04.1 LTS)

24GiB RAM, 8GiB RAM, 4 CORE,​

Root-Disk (ceph TYP RBD) size=50 G,​

Mount Point mp0 (ceph TYP RBD) size=500G​

Mount Point mp1 (ceph TYP RBD) size=750G​

Die Server sind je wie folgt ausgestattet:
CPU(s) 32 x Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz (2 Sockets)
RAM 124 GiB (Belegt ~ 32GiB), Swap 8GiB (davon belegt ~ 2,8GiB {Warum?})
10Gbps 4x Netzwerkkarten,
Kernelversion Linux 5.4.44-2-pve #1 SMP PVE 5.4.44-2 (Wed, 01 Jul 2020 16:37:57 +0200)
PVE Manager Version pve-manager/6.2-11/22fb4983

Danke für Eure Bemühungen
Michael

 

[fireon]

Ceph realisieren wir ausschließlich mit SSD's und HBA Controller. 3SAS im 3er Cluster ist alles andere als produktiv. Das funktioniert zwar, aber nicht gut. HDD's verwendeten wir für Ceph vor vielen Jahren auch mal, aber da pro Node 5 HDD's mit einer fetten Enterprise Cache SSD, was ja auch Vorgabe ist. Und 10Gbit Netzwerk ist selbstverständlich Minimum.

 

[MSCH]

Hallo fireon, danke für Deine INFO.
Ich dachte, das mit dem Ceph wäre eine gute Idee und dem Cluster,
wo man VMs hin- und herschieben kann und dann die Daten auch noch auf jedem Note synchron sind.
Darum habe ich insgesamt in meinem Ceph pro Note(3 insgesamt) 2 ssd, 3 SAS und 1 SATA.
Diese haben jeweils 4 x 10Gb Netzwerkkarten.
Von der Funktion her bin ich auch begeistert, aber die Schreibgeschwindigkeit ist deutlich zu langsam.
Ich hatte vorher moodle auf einem einfachen Raid 5 und das war deutlich perfomanter.
Was würde denn Sinn machen?

• Festplatten direkt durchreichen und dann per Skript Synchonisieren
• NAS an alle Notes anschließen z.B. mit einem weiteren 10Gb Netzwerk
• Ceph besser umsetzen
• anderes ClusterFS?

Rahmenbedingungen sind:
Wir sind ein Berufskolleg und selbstverständlich ist es immer abhängig von den Zugriffen und Usern.
Wir haben 800 - 1500 aktive User und nun eine 2 Gb Sync Leitung und hosten alle unsere Dienst seit Jahrzehnten
selbst, auch mit deutlich geringer Bandbreite erfolgreich.

Kann mir dort jemand helfen oder lässt sich soetwas über ein Serviceticket klären?

 

[fireon]

Und wie ist das ganze konfiguriert? Was machen die SAS und die SATA?

 

[MSCH]

Hi Fireon
ich habe auf jeden Node 2 nvme ssd's je 1GB. jeweils die 3 ssd's als RBD zusammengefasst.
dann 3 nvme SSD je 1GB eine pro Node zu einem RBD, für lxc
dann 3 nvme SSD je 1GB eine pro Node zu einem RBD, für vms
dann 3 SAS je 4 GB eine pro Node zu einem weiteren RBD, für Daten der lxc / vms
dann 3 SAS je 4 GB eine pro Node zu einem weiteren RBD, für Daten der lxc / vms
dann 6 SAS je 4 GB zwei pro Node zu einem CephFS, für Backups der lxc und vms

die SATA spielt im Cluster keine Rolle.
VG
MSCH

P.S.: Kleiner Nachtrag, ich habe hier seiner Zeit schon eine Frage zum Aufbau gestellt, da ich ja ein Einsteiger bin/war.
Ceph RBD oder CephFS