Homelab lokales ZFS, Ceph oder NFS Share?

[corin.corvus]

Moin,

ich komme immer wieder auf diese Frage und daher wollte ich sie jetzt hier einfach mal stellen.

Aktueller Stand:
Ich habe 5 Proxmox Nodes mit jeweils einer 2 TB NVMe SSD, wo aktuell ein ZFS drauf liegt und die Nodes replizieren sich untereinander (jede VM hat 2 Replizierungs Targets) alle 15 Minuten die VMs.
1 Gigabit Netzwerk zwsichen den Nodes
Zwecks Automatisierungen werden gelegentlich Nodes heruntergefahren/neugestartet für Updates oder Wartungen.

Das läuft an sich Ok, nur dauert das manchmal schon etwas, bis alles migriert ist, sollte ich mal einen Node herunterfahren müssen.

Nun kam mir der Gedanke, mit einem sich im Netzwerk befindlichen NFS Share müsste ich nicht replizieren, verliere dadurch aber Redundanz. Auch müsste ich dann ein zusätzliches Gerät dauerhaft mitlaufen lassen, was wieder Strom kostet.

Dadurch kam mir dann Ceph generell erstmal als eine Lösung beider Themen vor. Nur lese ich hier immer, dass ich dafür relativ viel Netzwerk und Schreibleistung brauche. Ich möchte ich meine SSDs langfristig nicht schneller killen als nötig und mir auch nicht mehr Probleme machen als aktuell schon, daher wollte ich einfach mal fragen:

Macht Ceph hier Sinn? Wenn nicht, was dann?



LG

 

[floh8]

Kannst du das Netzwerk zwischen den nodes aufrüsten? Wieviel schreibleistung brauchst du?

 

[corin.corvus]

Kannst du das Netzwerk zwischen den nodes aufrüsten? Wieviel schreibleistung brauchst du?

Leider nein. Die Netzwerkkarten der Nodes sind 1gbit und ich kann keine zusätzlichen einbauen.

Ich weiß nicht, wie ich die notwendige Schreibleistung ermitteln kann.

 

[floh8]

Du hast also nur 1gbit/s als einzigen netzwerkport pro node?

 

[corin.corvus]

Du hast also nur 1gbit/s als einzigen netzwerkport pro node?

Richtig.

Pro Node habe ich 2-max5 VMs, wenn 1 Node ausfällt.

 

[floh8]

Gibts denn performance Engpäss?

 

[corin.corvus]

Gibts denn performance Engpäss?

Performancetechnisch konnte ich bisher keine Probleme feststellen.

Replizierungen laufen relativ schnell, wenn sie initial da sind



Und generell habe ich da wenig Workload drauf. Backupprozesse sind bisher die, die am meisten Last erzeugen auf den Nodes.




Was mich an den Replizierungen stört ist, dass wenn mal während einer Replizierung ein Node neu startet oder irgendwas dazwischen kommt, dann laufen die schief. Ich weiß nun nicht, wie das mit Ceph läuft und ob das wirklich die Lösung ist, kann auch sein, dass ich mir das zu "toll" vorstelle.

 

[floh8]

Also ceph kannst du so vergessen. Du kannst froh sein, dass du wenig last erzeugst, sonst sehe es viel schlimmer aus. Meine empfehlung: lass es so mit zfs wie es ist.

 

[corin.corvus]

Also ceph kannst du so vergessen. Du kannst froh sein, dass du wenig last erzeugst, sonst sehe es viel schlimmer aus. Meine empfehlung: lass es so mit zfs wie es ist.

Was würde Ceph hier denn für Auslastung erzeugen?
Wie muss ich mir das vorstellen?
Nach dem Ablegen der Daten innerhalb dieses Datenpools sollte doch in der Theorie nur noch geändertes inkrementell synchronisiert werden oder übersehe ich hier was?

 

[Falk R.]

Die SSDs hätten in etwa den gleichen Stress wie bei ZFS (variiert aber nach Art der Daten).
Da Ceph synchron arbeitet muss ein Write immer erst auch auf allen betroffenen Nodes/SSDs erfolgt sein, bevor das OS ein erfolgreich gemeldet bekommt.
Bei einer dedizierten GBit Verbindung hättest du einfach gerechnet ca. 300MBit schreibgeschwindigkeit. Also ca. 35 MB/s.
Wenn dir das genügt, kannst du es ja einmal versuchen.
Scherz beiseite, das ganze wäre langsamer als eine Single HDD.
Mit der Replikation hast du schon das beste raus geholt.
Eventuell den Interval kleiner machen, dann sind die Deltas auch kleiner.