Proxmox HDD/SSD konfigurieren

[janek]

Moin,

ich habe einiges schon gesucht und noch leider nicht richtig was gefunden und zwar habe ich mehrere Server mit jeweils 6x5TB hdd Festplatten und jeweil 2x 1TB ssd.

Nun möchte ich gern Ceph benutzen und würde den Journal gern auf die ssd´s auslagern, zwecks performance usw.

Wie gehe ich nun bei der Installation vor? Installiere ist Proxmox auf ein Raidz1/ZFS mit zwei 5TB platten und die anderen Festplatten dann implementieren? Wie konfiguriere ich die ssd für den journal?

Welche Konfiguration würdet ihr ggf empfehlen?
Ich hatte nie Probleme Proxmox einfach auf die HDD´s zu installieren und fertig ist, aber ich würde mich gern weiterentwickeln )

Vielleicht hat ja jmd für mich einen Ratschlag.

Vielen Dank und Grüße

 

[hitman]

Wir machen das immer so:

2x SSD 120GB = Proxmox Raid1 zfs
Restlichen HDDs und SSD = Ceph

Das Journal kannst du über die GUI den HDDs zuweisen.

Zudem kommt es immer drauf an wo man hin möchte ohne 10 GBits macht Ceph kein Sinn, ab 5 Nodes mit 36 OSD mit hdd ist die Leistung schon an der Grenze zu 10 GBits.

 

[janek]

Moin,
ah super, da habe ich eine gewisse Vorstellung wie das funtkioniert. 10GBits sind zwischen den Server vorhanden. Wir werden noch weitere Nodes dazubekommen.

Gibt es eine Alternative, wenn man nur 2x SSD´s mit 960GB hat?
Ich würde die SSD´s gern für den Journal nehmen wollen.
Gibt es einen spürbaren effekt, wenn ich Proxmox auf die SSD´s packe bzw einen Unterschied?

 

[LnxBil]

Gibt es einen spürbaren effekt, wenn ich Proxmox auf die SSD´s packe bzw einen Unterschied?

Kommt auf die SSDs an. Optimal ist es nicht, technisch aber machbar. PVE selbst schreibt schon einiges und kann dir schnell das SSD kaputt machen, wenn es keine Gute ist. Prüfen kannst du das man anhand dieser Liste:

http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

 

[hitman]

Wir setzen auf SSD von Crucial MX ein ohne Problem. ca. 100 Stück im Einsatz bis dato gibt es kein Defekt, es ist zwar keine Enterprise SSD kostet aber nur 1/3 des Preises. Selbst wenn eine das zeitliche segnet wird sie getauschtund jut ist.

 

[LnxBil]

Ja, es geht nicht um die Garantie, sondern um die Geschwindigkeit. Die "billigen" SSD (Consumer and Prosumer) sind meistens total überlastet wenn mal etwas mehr Traffic auf die SSD kommt und sie brechen dann extrem im Schreibverhalten ein. Hat Sebastién sehr schön beschrieben auf dem Blog und die Messwerte unterscheiden sich extrem.

Aber wenn es für euch passt, dann ist das OK. Hab't auf jeden Fall die wearout-Werte im Blick.

 

[janek]

Okey, habe ich fast soweit verstanden. Das Heißt ich werde Proxmox in Raid1 zfs auf den SSD´s installieren und den Journal dann auf die HDD auslagern.
Oder wie von euch beschrieben, noch mal 2 x SSD´s kaufen und die zusätzlich hinzufügen und dann da das Journal drauf laufen lassen, richtig verstanden?

Kurz: Es ist so, das wir jetzt alle Slots vom Server mit HDD Festplatten bestückt haben können und zwei SSD´s mit drin sind.
Ich würde halt gern ein gewisses Maß an Optimum haben wollen, von der Geschwindigkeit her.... Das muss jetzt nicht die Rakete sein und Perfekt, aber wie gesagt ein gewisses Maß

Die jetztigen SSD´s sind Enterprise.

Vielen Dank für eure Unterstützung

 

[hitman]

Das Journal auf die HDDs auszulagern ist keine gute Idee, zumal ist auf jeder OSD ohne Einstellung automatisch das Journal.

Wie gesagt wir machen das so:
2x SSD Proxmox ZFS (Raid 1)
4 HDD + 1 SSD (Journal) oder 8 HDD + 2 SSD (Journal)

Bei Ceph kommt es auf die Menge an, mehr OSD + Node = Mehr Leistung.

Bitte beachte geht die SSD mit dem Journal über die Klippe sind die OSD (HDDs) auch offline.

 

[janek]

Alles klar, Verstanden
Kurz zur Verständnisfrage, wenn die SSD mit dem Journal bei euch über die Klippe geht, wie bekommt ihr dann die Daten von den OSD´s wieder?

Danke

 

[LnxBil]

Kurz zur Verständnisfrage, wenn die SSD mit dem Journal bei euch über die Klippe geht, wie bekommt ihr dann die Daten von den OSD´s wieder?

Kurz: Von den anderen Knoten.

Wenn man nicht möchte, dass ein Journal-Ausfall so große Folgen hat verwendet man mehrere SSDs für das Journal, wie du ja bereits geschrieben hast.
Man muss immer überlegen, wie klein die time-to-recovery und die Last dabei auf das System sein muss oder andersherum wie groß sie im Notfall sein darf. Ähnlich wie bei einem großen RAID x mit x >= 4 ist ein Rebuild mit enormer Belastung der anderen Festplatten verbunden, die zum einen die Performance negativ sehr beeinträchtigen und durch diese Last gerade einen Ausfall provozieren.