|
Fragen zur Konfiguration von absoluten Proxmox Neulingen
- Thread starter cscarn
- Start date
Hi,
Zu deinen Ceph Performance Problem.
Hier gibt es mehrere Sachen die nicht optimal sind.
1.) Du solltest Device Klassen verwenden und nicht alle in einen Pool stecken
https://pve.proxmox.com/wiki/Manage_Ceph_Services_on_Proxmox_VE_Nodes#pve_ceph_device_classes
Da die langsamste Platte alle ausbremst.
2.) du solltest bei Ceph immer write back als Cache mode verwenden.
Die 32GB Platte auf die du kopierst hat keine Cache und deswegen hast du nur 10 MByte/s.
3.) Wenn du HA nutzen mochtest brauchst du ein dezidiertes Netzwerk und nicht ein shared wo Ceph oder VM Traffic auch noch drüber geht.
HA und shared netzwerk ist der beste weg genau das gegenteil zu erreichen.
https://pve.proxmox.com/wiki/High_Availability
Zu deinen Ceph Performance Problem.
Hier gibt es mehrere Sachen die nicht optimal sind.
1.) Du solltest Device Klassen verwenden und nicht alle in einen Pool stecken
https://pve.proxmox.com/wiki/Manage_Ceph_Services_on_Proxmox_VE_Nodes#pve_ceph_device_classes
Da die langsamste Platte alle ausbremst.
2.) du solltest bei Ceph immer write back als Cache mode verwenden.
Die 32GB Platte auf die du kopierst hat keine Cache und deswegen hast du nur 10 MByte/s.
3.) Wenn du HA nutzen mochtest brauchst du ein dezidiertes Netzwerk und nicht ein shared wo Ceph oder VM Traffic auch noch drüber geht.
HA und shared netzwerk ist der beste weg genau das gegenteil zu erreichen.
https://pve.proxmox.com/wiki/High_Availability
Hallo Wolfgang,
vielen Dank für Deine Antwort. Wir versuchen die Einrichtung komplett über die GUI zu machen. Die Linux Kommandozeile ist (noch) nicht unser Freund. Ich weiß, dass das es den richtigen Linuxer eher zu der Aussage verleitet, man solle sich doch lieber erst mal damit beschäftigen, aber das ist leichter gesagt als getan. Die Entwicklungen von Proxmox gehen ja auch immer weiter Richtung GUI. Alle Aneitungen, die wir bis dato gefunden haben beschäftigen sich mit der Kommandozeile (alles eher Proxmox VE 5.x). Da nun aber seit der Version 6 aber im Grunde auch alles per GUI konfiguriert werden kann, würden wir gern diesen Weg nehmen.
zu 1.) Kann man die Deviceklassen der einzelnen HDD und SSD auch über die GUI einstellen bzw. ändern?
1.1.) Wie kann man im CEPH zwei verschiedene Pools für SSD und HDD getrennt erstellen? Wir haben da einfach nichts finden können in der Version 6.01 im GUI.
zu 2.) OK, probieren wir. Ich habe bei der Recherche diesen Test eines Users gefunden. Welche Einstellung würde man für einen Windows 2016 Server, der als DC, DHCP, DNS und Fileserver agiert nutzen? Welche Einstellung für einen MS-SQL Server? Hat jemand Best Practice Empfehlungen?
zu 3.) Woran hast Du das erkannt? Geplant war unserseits, dass der VM Traffic über die 1GB/s NIC und der Ceph Sync über die 10GB/s NIC laufen. Wir haben keine Anleitung gefunden, wo das mal mit einfachen Worten erklärt wird. Alleine die Begrifflichkeit Corosnyc, die aber in der GUI überhaupt nicht erwähnt wird, bereitet uns Kopfschmerzen. Hat jemand Best Practice Empfehlungen für eine Hardwarekonfiguration mit 1x1GB/s NIC und 2x10GB/s NIC unter Verwendung von Ceph und HA?
Verzeit uns bitte unsere Unwissenheit! Für Linux-Kenner, welche die Technikhistorie von Dateisystemen und Ceph in der Vergangenheit verfolgt haben, sind das sicherlich alles lächerliche Fragen, aber für uns Windows-Administratoren, die bis dato "nur" mit Stratus Avance HA-Clustern gearbeitet haben, ist das alles Neuland. Alles, was uns die GUI abnimmt, oder eien Best Practice Anleitung abnimmt, sind wir SEHR SEHR DANKBAR!
PS: Wenn jemand Interesse hat uns eine bezahlte Unterrichtsstunde in der ordentlichen Grundkonfiguration von Proxmox (Netzwerk, Ceph, Pools, HA) zu geben, ich wäre interessiert!
vielen Dank für Deine Antwort. Wir versuchen die Einrichtung komplett über die GUI zu machen. Die Linux Kommandozeile ist (noch) nicht unser Freund. Ich weiß, dass das es den richtigen Linuxer eher zu der Aussage verleitet, man solle sich doch lieber erst mal damit beschäftigen, aber das ist leichter gesagt als getan. Die Entwicklungen von Proxmox gehen ja auch immer weiter Richtung GUI. Alle Aneitungen, die wir bis dato gefunden haben beschäftigen sich mit der Kommandozeile (alles eher Proxmox VE 5.x). Da nun aber seit der Version 6 aber im Grunde auch alles per GUI konfiguriert werden kann, würden wir gern diesen Weg nehmen.
zu 1.) Kann man die Deviceklassen der einzelnen HDD und SSD auch über die GUI einstellen bzw. ändern?
1.1.) Wie kann man im CEPH zwei verschiedene Pools für SSD und HDD getrennt erstellen? Wir haben da einfach nichts finden können in der Version 6.01 im GUI.
zu 2.) OK, probieren wir. Ich habe bei der Recherche diesen Test eines Users gefunden. Welche Einstellung würde man für einen Windows 2016 Server, der als DC, DHCP, DNS und Fileserver agiert nutzen? Welche Einstellung für einen MS-SQL Server? Hat jemand Best Practice Empfehlungen?
zu 3.) Woran hast Du das erkannt? Geplant war unserseits, dass der VM Traffic über die 1GB/s NIC und der Ceph Sync über die 10GB/s NIC laufen. Wir haben keine Anleitung gefunden, wo das mal mit einfachen Worten erklärt wird. Alleine die Begrifflichkeit Corosnyc, die aber in der GUI überhaupt nicht erwähnt wird, bereitet uns Kopfschmerzen. Hat jemand Best Practice Empfehlungen für eine Hardwarekonfiguration mit 1x1GB/s NIC und 2x10GB/s NIC unter Verwendung von Ceph und HA?
Verzeit uns bitte unsere Unwissenheit! Für Linux-Kenner, welche die Technikhistorie von Dateisystemen und Ceph in der Vergangenheit verfolgt haben, sind das sicherlich alles lächerliche Fragen, aber für uns Windows-Administratoren, die bis dato "nur" mit Stratus Avance HA-Clustern gearbeitet haben, ist das alles Neuland. Alles, was uns die GUI abnimmt, oder eien Best Practice Anleitung abnimmt, sind wir SEHR SEHR DANKBAR!
PS: Wenn jemand Interesse hat uns eine bezahlte Unterrichtsstunde in der ordentlichen Grundkonfiguration von Proxmox (Netzwerk, Ceph, Pools, HA) zu geben, ich wäre interessiert!
Frage zu den Begrifflichkeiten. In dem Schema unten wird meiner Meinung nach alles durcheinander gehauen? ->
iLO bzw. IPMI ist klar
aber was ist gemeint mit
Privat Link (= Management Proxmox? auch für Replikationen und Backup?)
Public Link (= VM-Network?)
Managment Inband (= Privat Link)
Corosync Ring1 (=CEPH-Synchronisation?)
Coroysnc Ring2 (=CEPH-Synchronisation?)
Ceph (= Corosync)
iLO bzw. IPMI ist klar
aber was ist gemeint mit
Privat Link (= Management Proxmox? auch für Replikationen und Backup?)
Public Link (= VM-Network?)
Managment Inband (= Privat Link)
Corosync Ring1 (=CEPH-Synchronisation?)
Coroysnc Ring2 (=CEPH-Synchronisation?)
Ceph (= Corosync)
Auch bei Windows und das werden Sie als Windows Admin bestätigen können.
Nicht alles per GUI erledigt werden kann und man auf die powershell/cmd muss.
KRDB/RDB ist nicht das selbe. Wenn ohne Cache schneller ist das ist das ein Zeichen das eine Technologie mit eigenem Cache eingesetzt wird.
Aber jeder muss mal anfangen und Best Practice haben wir in unser Reference Doku auch.
Diese HW Setup widerspricht der Machbarkeit von HA.
HA stellt gewisse min Anforderungen wenn die nicht gegeben sind wird man genau das gegen Teil erhalten.
Bei HA benötig man zwingenden ein redundantes dezidiertes Netzwerk für Corosync (Proxmox VE Cluster Kommunikation).
Ich empfehle Ihnen die Reference Dokumentation zu lesen wo alle Empfehlungen für Proxmox VE enthalten sind.
https://pve.proxmox.com/pve-docs/
Nicht alles per GUI erledigt werden kann und man auf die powershell/cmd muss.
Nein geht nicht auf der GUI. Anleitung hab ich Ihnn im letzten Post geschickt.
Der Test ist Aussagelose solange nicht beschrieben ist was als Storage verwendet worden ist und wenn es sich um Ceph handelt wie verbunden wird.
KRDB/RDB ist nicht das selbe. Wenn ohne Cache schneller ist das ist das ein Zeichen das eine Technologie mit eigenem Cache eingesetzt wird.
Ich weiß das man nicht immer Zeit hat um alles von Anfang an zu perfekt machen.
Aber jeder muss mal anfangen und Best Practice haben wir in unser Reference Doku auch.
Diese HW Setup widerspricht der Machbarkeit von HA.
HA stellt gewisse min Anforderungen wenn die nicht gegeben sind wird man genau das gegen Teil erhalten.
Bei HA benötig man zwingenden ein redundantes dezidiertes Netzwerk für Corosync (Proxmox VE Cluster Kommunikation).
Ich empfehle Ihnen die Reference Dokumentation zu lesen wo alle Empfehlungen für Proxmox VE enthalten sind.
https://pve.proxmox.com/pve-docs/
Hallo,
wir haben alles neu aufgesetzt. Wir haben alle 3 Nodes mit Proxmox VE 6.1.3 Installiert.
Wir haben für das Managment Netzwerk die 192.168.1.xx/24 verwendet und für das Cluster Netzwerk die 10.10.10.xx/24.
Beide sind 10GBe anschlüsse.
Sind die Netzwerk Einstellungen soweit korrekt?
Wir haben diesmal nur die SSD's zum "Pool" hinzugefügt.
Wir haben ein neue Windows 10 VM installiert und sie schreibt mit einer geschwindigkeit von ~170 mb's.
Perfekt.
Was aber noch nicht richtig funktioniert ist die Backup Funktion.
Sobald wir ein Backup starten und das auf eine NFS Freigabe oder auf die lokale SSD gespeichert wird sinkt die Geschwindigkeit auf ~ 30mb's.
Zudem hatten wir jetzt auch mehre aussetzer beim Backup.
Rechner:
Backup :
Die Maschine bleibt auch wärend der Pausen stehen. Mit Version 6.0 hatten wir das nicht.
Das heißt die Komplette VM ist für diese Zeit nicht nutzbar.
Gibt irgendeine Lösung dafür?
wir haben alles neu aufgesetzt. Wir haben alle 3 Nodes mit Proxmox VE 6.1.3 Installiert.
Wir haben für das Managment Netzwerk die 192.168.1.xx/24 verwendet und für das Cluster Netzwerk die 10.10.10.xx/24.
Beide sind 10GBe anschlüsse.
Sind die Netzwerk Einstellungen soweit korrekt?
Wir haben diesmal nur die SSD's zum "Pool" hinzugefügt.
Wir haben ein neue Windows 10 VM installiert und sie schreibt mit einer geschwindigkeit von ~170 mb's.
Perfekt.
Was aber noch nicht richtig funktioniert ist die Backup Funktion.
Sobald wir ein Backup starten und das auf eine NFS Freigabe oder auf die lokale SSD gespeichert wird sinkt die Geschwindigkeit auf ~ 30mb's.
Zudem hatten wir jetzt auch mehre aussetzer beim Backup.
Rechner:
Backup :
Die Maschine bleibt auch wärend der Pausen stehen. Mit Version 6.0 hatten wir das nicht.
Das heißt die Komplette VM ist für diese Zeit nicht nutzbar.
Gibt irgendeine Lösung dafür?