Festplattenkonfiguration in einem 2-Node Cluster

[asterisk]

Hallo,
ich setze einen 2-Node Cluster + QDevice ein.
Die beiden Nodes haben jeweils 4x 2TByte SSDs. Ich frage mich, was die beste Konfiguration ist.
Raid 10 oder 4 einzelne SSDs ohne Raid? Da beim Cluster ja alles auf den 2.Node repliziert wird, könnte man doch auf ein Raid verzichten, oder?
Würdet ihr dennoch ein Raid 10 einsetzen? Gibt es Gründe, die für ein Raid sprechen?

Ich bin gespannt auf eure Empfehlung, Danke.

Hansjörg

 

[Falk R.]

Auf jeden Fall mit Raid. Die Replikation ist ja niemals echtzeit und du hast immer einen Verlust. Noch schlimmer trifft es dich, wenn du gerade Wartung an einem Node machst und dann stirbt dir eine SSD im laufenden Node. Nach Murphys Law passiert genau so etwas.
Die Replikation ermöglicht dir eine schnelle Migration der VMs zwischen den Nodes und du hast einen geringen Datenverlust, wenn mal ein Node stirbt.

 

[asterisk]

Danke Falk für deine Antwort. Du hast natürlich Recht, daß nicht in Echtzeit repliziert wird und man dann im Ernstfall ein Daten-Delta hat, also Datenverlust. Aber wie ist es in einem Ceph-Cluster? Trifft die Aussage auch auf einen Ceph-Cluster zu, der ja hochverfügbar ohne Ausfallzeit läuft? Hier müssten die SSDs ja quasi in Echtzeit auf allen Nodes synchronisiert werden.
Mich interessiert eure Meinungen bzw. Empfehlungen. Klar, BestPractise ist ein Raid ja immer, aber ist es im Falle von Ceph auch zwingend erforderlich?
Gruss, Hansjörg

 

[Falk R.]

Danke Falk für deine Antwort. Du hast natürlich Recht, daß nicht in Echtzeit repliziert wird und man dann im Ernstfall ein Daten-Delta hat, also Datenverlust. Aber wie ist es in einem Ceph-Cluster? Trifft die Aussage auch auf einen Ceph-Cluster zu, der ja hochverfügbar ohne Ausfallzeit läuft? Hier müssten die SSDs ja quasi in Echtzeit auf allen Nodes synchronisiert werden.
Mich interessiert eure Meinungen bzw. Empfehlungen. Klar, BestPractise ist ein Raid ja immer, aber ist es im Falle von Ceph auch zwingend erforderlich?
Gruss, Hansjörg

Ceph macht das "Raid" ja über das Netzwerk. Du hast da im default 3 fach Replikation, was einem Raid1 über 3 Disks entspricht und wenn du viele Nodes hast, kannst du Erasure Coding nutzen was dann einem Raid5/6 oder besser entspricht. Da diese Repliaktion immer in Echtzeit ist (synchrone Replikation), ist für die Performance von Ceph, das Netzwerk extrem wichtig.

 

[asterisk]

...also wenn ich das jetzt richtig verstehe, könnte man bei Ceph auf das interne Raid der Nodes verzichten. Wir setzen ein 10G-Netzwerk ein (Netzwerk-Schnittstellen und Netzwerk-Switche). Das müsste doch für die Performance des Netzwerkes reichen...

 

[Falk R.]

Naja, 10G ist heutzutage eher Standard als High Speed.
Kommt immer auf die Größe und Performanceanforderungen an.

Ich habe einen Kunden der noch einen alten Cluster hat, mit 2x 10G LACP für Ceph.
Das Netzwerk ist da trotz HDDs das Bottleneck.
Neue Cluster baue ich in der Regel nur noch mit 100G, aber mindestens mehrere 25G Links auf.

Wenn du im Cluster den Standard mit 3 Replikas fährst, hast du im worst Case ca. 3,3 GBit Maximaldurchsatz und im Regelfall maximal 5 GBit deines 10G Links.

Bei Ceph ist es wie bei jeder anderen Lösung (VMware vSAN, Microsoft S2D), es dürfen nur native Disks genutz werden und kein Raid.