Zentraler Speicher

[TErxleben]

Im Zuge dieser Diskussion: https://forum.proxmox.com/threads/hardwarer-oder-software-raid.183785/ kaue ich wieder mal gedanklich auf einer moderneren, kostengünstigen SAS-Version rum.

Kein echtes Proxmox-Problem, sondern nur Neugier.

Switche mit 16 sfp+ ports bekommt man ja schon für recht schmalen Taler (ca. 1.000€).
Ist jemand mal über ein kleines NVME-Gehäuse mit SFP+Anschluss (evtl. zusätzlich auch TB/USB), eigenem Stromanschluss und ohne internem Raid-Schnickschnack gestolpert? Zusammen mit dem Switch würde ich daraus gerne einen HA-Speichercluster bilden.

Der Wunschgedanke ist, eine "Platte", im laufenden Betrieb des Clusters, ohne Schmerzen tauschen zu können.
Oder hat sich in den letzten 30J so wenig getan, dass man immer noch mit dem Konzept "war schon immer so" weiterleben muss?
Oder sich wie Frau Google Kilometer Racks in die Bude zu pflastern, da man in ganz anderen Dimensionen skaliert?

 

[Falk R.]

Also NVMe Gehäuse mit NVMe over Fabric haben alle mindesten 100GBit was ja auch kein Problem ist, da kostet ein Switch mit 4x 100G auch nur 800€, aber die Enclosures kosten mehrere Tausend.
Was günstig ist, wären gebrauchte SAS Enclosures, da kannst du auch 2 Hosts direkt anschließen.

 

[Bu66as]

Was @Falk R. sagt, gebrauchte SAS-Shelves sind günstig. NetApp DS4246 oder Dell MD1200/MD1400 bekommt man für unter 200€, Dual-Path SAS an zwei Hosts direkt dran, Hotswap klappt problemlos. Das ist bewährt und funktioniert einfach.

NVMe-oF ist das moderne Äquivalent, aber bei den Enclosures landest du schnell im vierstelligen Bereich. Im Homelab lohnt sich das nicht. Die Technik ist eher für große Rechenzentren, wo die Latenzgewinne von NVMe zählen.

Wenn du flexiblen HA-Speicher mit Hotswap willst ohne SAS-Shelves zu kaufen, könntest du auch Ceph über 10G-SFP+ nehmen. Du steckst die NVMes in die Nodes, Ceph regelt die Redundanz und du kannst einzelne OSDs rausnehmen oder tauschen ohne Downtime. Braucht mindestens 3 Nodes für sauberes Quorum.