ZFS Anfängerfrage

[Dazi]

Hallo,

ich hab nen kleinen Cluster mit 3 identischen mini-PCs.
Da laufen n paar VMs drauf. Fällt einer aus, dann soll ein anderer einspringen ... also HA.

Als Filesystem hatte ich Ceph genommen. Eigentlich perfekt, aber auf den kleinen PCs zu langsam.

Drum hab ich auf lokales ZFS umgestellt.
Alle 15 min wird repliziert. Fällt ein PC aus, übernimmt ein anderer. Und mit den 15 min kann ich gut leben.

Vor ein paar Tagen hat aber auf einem PC die ZFS-SSD den Geist aufgegeben.
Der Rechner lief noch, die VMs auf dem PC waren noch grün, aber es ging natürlich nix mehr.
Da der Rechner noch lief, hat HA nicht zugeschlagen.

Hat jemand nen Tip für mich, wie ich das noch in den Griff bekomme?

 

[floh8]

Wenn du lokales zfs machst, solltest du schon ein Raid implementieren (Raidz oder Mirror).

 

[Dazi]

Erst mal danke für die Antwort.

Würde das dann von HA erkannt werden?

Wenn nicht, dann hilft mir das ja nix.
Und wenn ja ... mach ich dann ein Raid mit nur einer einzigen SSD???

 

[Dunuin]

Und wenn ja ... mach ich dann ein Raid mit nur einer einzigen SSD???

Du brauchst schon mindestens zwei SSDs.

Würde das dann von HA erkannt werden?

Das hat nichts mit HA zu tun. Der Punkt ist einfach, dass da mit einem Mirror alles normal weiter läuft als wäre nichts gewesen, wenn dir eine SSD wegstirbt.

 

[Dazi]

Wie gesagt ... Mini-PCs ... da ist nur Platz für eine SSD.
Und bei einem Verbund mit ner SSD auf nem anderen (oder den beiden anderen) PC geht es wieder über das
Netzwerk. Und da hab ich mir mit Ceph ja schon die Finger verbrannt. Drum bin ich ja auf LOKAL umgestiegen.

Die Snapshot-Möglichkeiten von ZFS und die Replizierung mit gedrosselter Bandbreite sind für mich perfekt.

Was mir nur noch fehlt, ist die Möglichkeit bei Ausfall der lokalen SSD auf nen anderen PC zu wechseln.

Ne Dirty-Lösung wäre ein Skript das alle paar min den Status prüft und bei Ausfall der SSD den PC runter fährt.
Aber vllt gibt's was besseres?

 

[floh8]

Tja, man kann nicht alles haben. Ceph ist in so einem Fall die beste Lösung.

 

[Dunuin]

Die N100 MiniPCs werden aber sehr wahrscheinlich auch nicht mehrere NICs haben und erst recht wohl nicht mit 10+ Gbit.
2-3 NICs will man da ja eigentlich schon pro Node haben. Ob nun Cluster mit ZFS oder ceph.

 

[ubu]

Vorsicht bei HA mit ZFS Replikation:

Wenn die Repl unbemeerkt hängt und die HA dann auf anderem Host neu startet werden möglicherweise aktuellere Daten von alten Daten überschrieben.

 

[news]

Hier der Artikel von Dennis zum Thema Mini Computer:

# https://schroederdennis.de/firewall...test-vergleich-top3-pfsense-opnsense-proxmox/

 

[Falk R.]

Vorsicht bei HA mit ZFS Replikation:

Wenn die Repl unbemeerkt hängt und die HA dann auf anderem Host neu startet werden möglicherweise aktuellere Daten von alten Daten überschrieben.

Wo hast du denn soetwas gesehen?

 

[Dazi]

Die N100 MiniPCs werden aber sehr wahrscheinlich auch nicht mehrere NICs haben und erst recht wohl nicht mit 10+ Gbit.
2-3 NICs will man da ja eigentlich schon pro Node haben. Ob nun Cluster mit ZFS oder ceph.

Nicht wirklich
Die haben nur eine Schnittstelle ... aber immerhin Gbit

 

[Falk R.]

Es gibt aber auch einige N100 Kisten mit 4x 2,5 GBit.

 

[Dunuin]

Nicht wirklich
Die haben nur eine Schnittstelle ... aber immerhin Gbit

Dann musst du halt aufpassen, dass dir da Fencing keine Nodes grundlos rebootet, weil deine Latenz bei einem Backup oder Migration oder Ceph Rebalancing die einzige NIC voll auslastet. Eigentlich will man ja für Corosync eigene NIC + Switch haben die sich pausenlos langweilen sollen, ohne das da große Daten drübergehen dürfen.

 

[Dazi]

Vorsicht bei HA mit ZFS Replikation:

Wenn die Repl unbemeerkt hängt und die HA dann auf anderem Host neu startet werden möglicherweise aktuellere Daten von alten Daten überschrieben.

Iss n guter Hinweis ... Danke!!
Hängen der Replikation hatte ich tatsächlich auch schon n paar mal.

 

[beisser]

es gibt minipcs in allen möglichen ausführungen.
vom single nic, single ssd modell bis zum ms-01 mit 3x nvme, 2x 2.5g, 2x 10g und nem pcie x8 slot.
man kann fast alles bekommen was man will.
mein minipc hat z.b. 6x 2.5g, 2x sata und 2x nvme (wobei 1x nur ein konvertierter wifi-slot ist).

 

[Dazi]

Es gibt aber auch einige N100 Kisten mit 4x 2,5 GBit.

Ja, ich weiß ...
"Hätte - hätte - Fahrradkette"
Würde ich heute nochmal anfangen, dann wären es sicher n paar Kisten mit mehr als einer Schnittstelle ... und n paar EUR mehr.
Aber jetzt hab ich halt die Billigteile.
Wobei ... die Performance reicht mir ja völlig.

 

[news]

Ja, ich weiß ...
"Hätte - hätte - Fahrradkette"
Würde ich heute nochmal anfangen, dann wären es sicher n paar Kisten mit mehr als einer Schnittstelle ... und n paar EUR mehr.
Aber jetzt hab ich halt die Billigteile.
Wobei ... die Performance reicht mir ja völlig.

Viel Spaß beim Hobby und beim Basteln.

 

[Falk R.]

Ja, ich weiß ...
"Hätte - hätte - Fahrradkette"
Würde ich heute nochmal anfangen, dann wären es sicher n paar Kisten mit mehr als einer Schnittstelle ... und n paar EUR mehr.
Aber jetzt hab ich halt die Billigteile.
Wobei ... die Performance reicht mir ja völlig.

Notfalls mit USB Nic erweitern. Ist nicht die beste Lösung, aber besser als nur eine NIC.

 

[Dazi]

Notfalls mit USB Nic erweitern. Ist nicht die beste Lösung, aber besser als nur eine NIC.

Ja, hatte ich auch schon überlegt.
Aber wahrscheinlich sind die Rechner an sich schon zu schwach (J4125, 8GB), um was vernünftiges (also Ceph) laufen zu lassen.
Aber wie gesagt: Replizierung alle 15 min, gedrosselt, dauert ca 8 sec. Das taugt mir.

 

[Falk R.]

Ja, hatte ich auch schon überlegt.
Aber wahrscheinlich sind die Rechner an sich schon zu schwach (J4125, 8GB), um was vernünftiges (also Ceph) laufen zu lassen.
Aber wie gesagt: Replizierung alle 15 min, gedrosselt, dauert ca 8 sec. Das taugt mir.

Du kannst die Replikation auch jede Minute laufen lassen.