Fragen zur Konfiguration von absoluten Proxmox Neulingen

cscarn

Member
Dec 4, 2019
5
0
21
24
Germany
Guten Tag liebe Communtiy!

Wir sind absolute Proxmox Neulinge und bewegen uns mit Linux auf unsicherem Terrain. Wir befinden uns gerade erst in der Testphase des Proxmox-Clusters und stecken bereits gehörig in einer Zwickmühle. Die Lösung gefällt uns wirklich sehr gut, aber der Cluster funktioniert nicht performand genug. Speziell die Schreibraten im Ceph sind mit 10MB/s unterirdisch schlecht. Die Schreibrate wird gemessen innerhalb einer VM beim lesen und schreiben auf die eigene Partition. Ein gleich ausgestatteter One-Note-Cluster schafft locker die zehnfachen Werte davon. Wenn wir die Performance nicht in den Griff bekommen, ist die Lösung ungeeignet für uns. Das wäre aber total schade!

Hier unser Testaufbau:
3x Nodes
- Mainboard Supermicro X10SDV-4C-TLN4F (Xeon 4 Core+HT 2x1GB + 2x10GB NIC)
- 32GB RAM DDR4 RDIMM 2133MHz (ECC-Registered)
- 500GB NVMe (Für die Proxmox Installation)
- 1TB SSD SATA
- 4 TB HDD SATA
- Proxmox VE 6.0.4
- Switch: 8x 10GB/s Ethernet

1575468185338.png

Die Nodes sind über einem 10GB/s Switch miteinander verbunden.
Je Node jeweils 1x mit 1 GB/s und 1x mit 10GB/s.
Unser 1GB's Netzwerk hat die IPs:
192.168.1.11/24
192.168.1.12/24
192.168.1.13/24

Unser 10GB`s Netzwerk hat die IPs:
192.168.111.11/24
192.168.111.12/24
192.168.111.13/24

Die Nodes können sich im 1GB-Netzwer (192.168.1.0) und im 10GB-Netzwerk (192.168.111.0) gegenseitig anpingen.

Bei der Cluster Erstellungen haben wir wie im Bild unten zu sehen alles eingetragen. Uns fehlen nähere Informationen zu Link 0 und Link 1. Wozu sind die da? Sind diese Einstellung überhaupt korrekt?
1575468203218.png

Das System soll ein HA-Cluster werden, auf dem zunächst 1VM (Windows Server 2019 Essentials) laufen soll. Zu Testzwecken haben wir derzeit eine Win10 VM installiert ->

Problem 1:
Wir haben eine Windows 10 Installiert mit folgender Hardware:
1575468218405.png
Wir haben auch die Gast Treiber (VirtIO) installiert (https://jonspraggins.com/the-idiot-installs-windows-10-on-proxmox)

Sobald wir beispielsweise eine 4GB ISO-Datei auf die Festplatte schreiben, geht die Geschwindigkeit drastisch in den Keller. Es wird mit ~10mb von der einen Festplatte (100GB siehe oben) auf die andere (32GB) geschrieben.

Gibt es dort irgendeine Lösung oder optimale Konfiguration, welche performander funkiotniert? Wir haben schon viel über Google recherchiert, aber nichts hat uns wirklich voran gebracht...


Problem 2:

Das 2. kleine Problem ist das wir uns nicht sicher sind, ob Corosync wirklich über die 10GB/s Leitung läuft ? Kann man das Irgendwie testen? Macht es Sinn beide 10GB-NICs für Corosync einzurichten, oder sonnte man je 1x1GB und 1x 10GB zu einem BOND zusammenfassen, als Backup? Wie wird das am besten gemacht?

Falls es weitere Frage zu unserer Konfiguration bzw. KOnstellation gibt, nur zu, wir haben alles dokumentiert ;-)


Viele Grüße.
Philipp Friedland
 

Attachments

  • 1575469146536.png
    1575469146536.png
    1.5 KB · Views: 4
Hi,

Zu deinen Ceph Performance Problem.
Hier gibt es mehrere Sachen die nicht optimal sind.
1.) Du solltest Device Klassen verwenden und nicht alle in einen Pool stecken
https://pve.proxmox.com/wiki/Manage_Ceph_Services_on_Proxmox_VE_Nodes#pve_ceph_device_classes
Da die langsamste Platte alle ausbremst.
2.) du solltest bei Ceph immer write back als Cache mode verwenden.
Die 32GB Platte auf die du kopierst hat keine Cache und deswegen hast du nur 10 MByte/s.
3.) Wenn du HA nutzen mochtest brauchst du ein dezidiertes Netzwerk und nicht ein shared wo Ceph oder VM Traffic auch noch drüber geht.
HA und shared netzwerk ist der beste weg genau das gegenteil zu erreichen.
https://pve.proxmox.com/wiki/High_Availability
 
Hallo Wolfgang,

vielen Dank für Deine Antwort. Wir versuchen die Einrichtung komplett über die GUI zu machen. Die Linux Kommandozeile ist (noch) nicht unser Freund. Ich weiß, dass das es den richtigen Linuxer eher zu der Aussage verleitet, man solle sich doch lieber erst mal damit beschäftigen, aber das ist leichter gesagt als getan. Die Entwicklungen von Proxmox gehen ja auch immer weiter Richtung GUI. Alle Aneitungen, die wir bis dato gefunden haben beschäftigen sich mit der Kommandozeile (alles eher Proxmox VE 5.x). Da nun aber seit der Version 6 aber im Grunde auch alles per GUI konfiguriert werden kann, würden wir gern diesen Weg nehmen.

zu 1.) Kann man die Deviceklassen der einzelnen HDD und SSD auch über die GUI einstellen bzw. ändern?
1.1.) Wie kann man im CEPH zwei verschiedene Pools für SSD und HDD getrennt erstellen? Wir haben da einfach nichts finden können in der Version 6.01 im GUI.

zu 2.) OK, probieren wir. Ich habe bei der Recherche diesen Test eines Users gefunden. Welche Einstellung würde man für einen Windows 2016 Server, der als DC, DHCP, DNS und Fileserver agiert nutzen? Welche Einstellung für einen MS-SQL Server? Hat jemand Best Practice Empfehlungen?

1575548677348.png

zu 3.) Woran hast Du das erkannt? Geplant war unserseits, dass der VM Traffic über die 1GB/s NIC und der Ceph Sync über die 10GB/s NIC laufen. Wir haben keine Anleitung gefunden, wo das mal mit einfachen Worten erklärt wird. Alleine die Begrifflichkeit Corosnyc, die aber in der GUI überhaupt nicht erwähnt wird, bereitet uns Kopfschmerzen. Hat jemand Best Practice Empfehlungen für eine Hardwarekonfiguration mit 1x1GB/s NIC und 2x10GB/s NIC unter Verwendung von Ceph und HA?

Verzeit uns bitte unsere Unwissenheit! Für Linux-Kenner, welche die Technikhistorie von Dateisystemen und Ceph in der Vergangenheit verfolgt haben, sind das sicherlich alles lächerliche Fragen, aber für uns Windows-Administratoren, die bis dato "nur" mit Stratus Avance HA-Clustern gearbeitet haben, ist das alles Neuland. Alles, was uns die GUI abnimmt, oder eien Best Practice Anleitung abnimmt, sind wir SEHR SEHR DANKBAR!

PS: Wenn jemand Interesse hat uns eine bezahlte Unterrichtsstunde in der ordentlichen Grundkonfiguration von Proxmox (Netzwerk, Ceph, Pools, HA) zu geben, ich wäre interessiert!
 
Frage zu den Begrifflichkeiten. In dem Schema unten wird meiner Meinung nach alles durcheinander gehauen? ->

iLO bzw. IPMI ist klar

aber was ist gemeint mit
Privat Link (= Management Proxmox? auch für Replikationen und Backup?)
Public Link (= VM-Network?)
Managment Inband (= Privat Link)
Corosync Ring1 (=CEPH-Synchronisation?)
Coroysnc Ring2 (=CEPH-Synchronisation?)
Ceph (= Corosync)

1575556761498.png
 
Auch bei Windows und das werden Sie als Windows Admin bestätigen können.
Nicht alles per GUI erledigt werden kann und man auf die powershell/cmd muss.

1.1.) Wie kann man im CEPH zwei verschiedene Pools für SSD und HDD getrennt erstellen? Wir haben da einfach nichts finden können in der Version 6.01 im GUI.
Nein geht nicht auf der GUI. Anleitung hab ich Ihnn im letzten Post geschickt.

Ich habe bei der Recherche diesen Test eines Users gefunden.
Der Test ist Aussagelose solange nicht beschrieben ist was als Storage verwendet worden ist und wenn es sich um Ceph handelt wie verbunden wird.
KRDB/RDB ist nicht das selbe. Wenn ohne Cache schneller ist das ist das ein Zeichen das eine Technologie mit eigenem Cache eingesetzt wird.

Ich weiß, dass das es den richtigen Linuxer eher zu der Aussage verleitet, man solle sich doch lieber erst mal damit beschäftigen
Ich weiß das man nicht immer Zeit hat um alles von Anfang an zu perfekt machen.
Aber jeder muss mal anfangen und Best Practice haben wir in unser Reference Doku auch.

Hat jemand Best Practice Empfehlungen für eine Hardwarekonfiguration mit 1x1GB/s NIC und 2x10GB/s NIC unter Verwendung von Ceph und HA?

Diese HW Setup widerspricht der Machbarkeit von HA.
HA stellt gewisse min Anforderungen wenn die nicht gegeben sind wird man genau das gegen Teil erhalten.
Bei HA benötig man zwingenden ein redundantes dezidiertes Netzwerk für Corosync (Proxmox VE Cluster Kommunikation).

Ich empfehle Ihnen die Reference Dokumentation zu lesen wo alle Empfehlungen für Proxmox VE enthalten sind.
https://pve.proxmox.com/pve-docs/
 
Hallo,

wir haben alles neu aufgesetzt. Wir haben alle 3 Nodes mit Proxmox VE 6.1.3 Installiert.

Wir haben für das Managment Netzwerk die 192.168.1.xx/24 verwendet und für das Cluster Netzwerk die 10.10.10.xx/24.
Beide sind 10GBe anschlüsse.
1576075261869.png

Sind die Netzwerk Einstellungen soweit korrekt?

Wir haben diesmal nur die SSD's zum "Pool" hinzugefügt.
1576075350837.png

Wir haben ein neue Windows 10 VM installiert und sie schreibt mit einer geschwindigkeit von ~170 mb's.
Perfekt.

Was aber noch nicht richtig funktioniert ist die Backup Funktion.
Sobald wir ein Backup starten und das auf eine NFS Freigabe oder auf die lokale SSD gespeichert wird sinkt die Geschwindigkeit auf ~ 30mb's.
Zudem hatten wir jetzt auch mehre aussetzer beim Backup.
Rechner:
1576076137635.png
Backup :
1576075899362.png
1576076243613.png
Die Maschine bleibt auch wärend der Pausen stehen. Mit Version 6.0 hatten wir das nicht.
Das heißt die Komplette VM ist für diese Zeit nicht nutzbar.

Gibt irgendeine Lösung dafür?
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!