Ceph und 2x ZFS Pool pro Node

Haithabu84

Renowned Member
Oct 19, 2016
119
4
83
33
Hallo,

ich habe die Suche verwendet, aber genau zu meiner Frage irgendwie keine Antwort gefunden. Könnte mir aber vorstellen das diese Frage schonmal ähnlich gestellt wurde. Nun gut, es geht um folgendes:

Wir wollen unsere alten Server ersetzen. Bisher haben wir als HA-Lösung nur die Storage Replication mit reinen ZFS Pools verwendet. Es waren zwei Nodes im Einsatz, auf denen jeweils 64Gb RAM installiert waren. Leider sind die Chassis mittlerweile nicht nur sehr alt, sondern haben leichte Ausfallerscheinungen (SATA-Port kurzzeitig ausgefallen) und stoßen mittlerweile an die Grenze der Erweiterbarkeit.

Jetzt haben wir drei neue Server mit Epyc der dritten Generation, 128Gb RAM und einer Kombi aus U2 und SATA Backplanes bestellt. Geplant ist ein Ceph-Cluster. Storage-Netzwerk wird per Mesh über 25Gbit realisiert. Jetzt gibt es die Überlegung das Ceph-Cluster parallel aufzusetzen und dann die SATA-SSD mit den ZFS Pools 1zu1 auf die neuen Server zu übertragen.

Jetzt fragt man sich natürlich, wie das mit der RAM-Zuteilung läuft. Mir war so das unter Proxmox Standard die Hälfte des RAMs maximal dem ARC zugewiesen wird.

Die genaue Config pro Node würde so aussehen:

2x SATA SSD je 480Gb mit rPool für OS
2x U.2 NVMe je 3,84Tb mit Multiplen OSDs für Ceph
8x SATA SSD je 1Tb im ZFS Raid10

Für 15 VM mit derzeit 42Gb konfiguriert und 10 Container mit 30Gb konfiguriert.

Kann sich das in irgendeiner Form mit dem Ceph-Cluster "beißen"? Wie verhält sich da Proxmox genau?

Gruß
 
Dann wäre das ja noch voll im Rahmen. Ich glaube ich werde es einfach mal auf einen Versuch ankommen lassen.