Aufbau eines HA Clusters mit ZFS-Storage oder externem Storage

[Maximilian1998]

Hallo zusammen,
ich möchte bei einem Kunden ein zwei Node Proxmox-Cluster mit Raspi oder ähnlich als withness aufbauen.
Ich habe jetzt einmal eine Lösung mit lokalem ZFS-Storage in den Servern geplant und einmal mit externer Synology NAS als diskless Version.

Wie könnte ich das ganze als Proxmoxcluster aufbauen, um die HA Funktionen, ähnlich einem Ceph Cluster zu bekommen?
Mir schwebt hier entweder eine Spiegelung der Daten auf Server B und übernahme dessen vor, das wäre aber kein richtiges HA.
Wie würden sich dann die VMs bzw. die Datenbank verhalten, wenn Server A ausfällt?
Könnte ich mit einer diskless Lösung mittels eines ISCSI Storage oder SMB Laufwerks eine HA-Lösung aufbauen?

In meiner Technikerarbeit habe ich ein Ceph Cluster aufgebaut, dass ist bei unserem mittelständischen Kunden aber preislich gesehen raus.

Gibt es eine Möglichkeit, die ich vielleicht übersehen habe aber genauso funktioniert?

Die Zeichnungen habe ich euch angehängt

Vielen Dank für eure Hilfe!

Gruß
Maximilian

 

[Sviat]

Hi,

Recommended by Proxmox config require 3 nodes for quorum. But you can try with Corosync External Vote Support https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support .
Can't recommend to use such on production.

 

[UdoB]

Ich habe jetzt einmal eine Lösung mit lokalem ZFS-Storage in den Servern geplant

Das ist doch die Lösung...?

In kleinen/kleinsten Umgebungen sehe ich keine konkurierende Möglichkeit: Ceph braucht wesentlich mehr Ressources, ein NAS als NFS-Server ist ein SPOF und ermöglicht so simpel kein HA.

Der Datenverlust zwischen den Replikatonszeitpunkten ist allerdings eine Kröte, die man zu schlucken bereit sein muss - nicht jeder Use Case verträgt das.

Choose your poison; choose wisely.

Auch ZFS hat seine Problemzonen, such dir im Vorfeld ein paar Berichte aus dem Leben; Kardinalfehler wie "Consumer SSDs sind gut genug" oder "RaidZ1 ist super" haben bereits genügend Nutzer durchgespielt...

Auch: https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/

 

[Maximilian1998]

@Sviat @UdoB danke für eure Hilfe!
Auf dem PVE soll eine Windows Domäne, sowie diverse andere Dienste des Kunden virtualisiert werden.

Wir würden Enterprise NVMe SSDs verwenden.

Die NAS ist eine Synology UC3400, die hätte zwei aktive Controller, somit wäre da dann die Wahrscheinlichkeit eines Ausfalls geringer. Alternativ würden auch zwei RS2423RP+ mit HA Funktion gehen. Wäre so HA möglich?

Was würde es denn noch für Alternativen geben?

 

[waltar]

Enterprise like Fileserver (Dell/HPE/Fujitsu/Lenovo) laufen idR >10J schmerzfrei und "fressen" dabei meist nur hin und wieder die eine oder andere Platte, jedoch ohne downtime. Mem Fehler, ausgefallenes Netzteil (ohne downtime) oder verbrauchte Akkus (teils mit/ohne downtime) können dem syslog, der BMC oder raidctrl. tools frühzeitig entnommen werden und führen somit seltenst zu unplanmäßigem Ausfall. Endlos viele Server in den letzten >25J betreut, 2U Varianten sind wegen der deutlich besseren Kühlung aber zu bevorzugen. Ein gefencter pve Node ist dagegen weniger selten ...
Unser Lenovo vorm pve Cluster ist gut 11Jahre und hat außer Platten noch nichts anderes an Teilen bekommen.
Updates einspielen und Fileserver reboot funktioniert dank heutiger tcp Netzwerktechnologie ohne die pve's und deren Guests anzufassen bzw. denen Bescheid zu sagen. Insofern finde ich ein NAS - insbesondere, wenn es sich um Enterprise HW handelt - immer wieder als SPOF hinzustellen ziemliche Ketzerei, weil dort außer nfs und/oder smb idR keine Applikation dem OS nebenbei Schaden zufügen kann. Anderenfalls greift man zB eben zu einer Netapp mit entsprechendem Obolus, wenn man das denn wirtklich meint zu brauchen. Als Zwischenlösung gehen auch 2 oder mehr Server an 1 externem Storage, wo man wahlweise das oder die Volumes mit Filesystem(-en) wahlweise ummounten kann.

 

[UdoB]

Insofern finde ich ein NAS - insbesondere, wenn es sich um Enterprise HW handelt - immer wieder als SPOF hinzustellen ziemliche Ketzerei

Technisch ist das aber dennoch ein SPOF, oder nicht?

Wir reden hier aber von einem Homelab. Und selbst wenn der NFS-Server auf der oben erwähnten Synology ultra-stabil wäre: das essentielle Netzwerk ist vermutlich ebenfalls nicht redundant und trägt so einen weiteren Teil zur Ausfallwahrscheinlichkeit des NFS-Servers bei. (Genau wie die beteiligten Stromversorgungen usw.)

Ganz egal, welche zusätzlichen Server/Hardware/Softwarefunktion man ins Spiel bringt, die Komplexität nimmt immer zu. Am Ende werden es praktisch immer mehr Einzelteile sein, als vorher. (Niemand deaktiviert den lokalen Storage vollständig, wenn NFS zusätzlich angebunden wird.) Jedes Teilsystem kann einen Defekt ausbilden. Insgesamt nimmt die Ausfallwahrscheinlichkeit (eines beliebigen Einzelteils) immer weiter zu, niemals ab. Wenn ein SPOF stirbt, stirbt der komplette Cluster.

Sofern man für einen selbst wichtige Dienste betreibt, die nicht ausfallen sollen, besteht die Kunst natürlich darin, das Risiko und die Konsequenzen überhaupt einzuschätzen. Ich behaupte nicht, dass ich das gut kann. Aber ohne Redundanzen lässt ein ausfallendes Teil den kompletten Cluster sterben...

Edit: natürlich kann man mit (möglicherweise etlichen, wer hat schon Notstrom?) SPOFs leben - man sollte das meiner Meinung nach aber bewusst tun, nicht aus Unkenntnis.

---
Meine Systeme (im Homelab) erfüllen das auf keinen Fall, beispielsweise habe auch ich keinerlei Netzwerk-Redundanz und nicht einmal redundante Stromversorgung (MiniPCs). Es kommt eben immer auf den eigenen Anspruch (und dem Geldbeutel) an...

 

[Falk R.]

@Sviat @UdoB danke für eure Hilfe!
Auf dem PVE soll eine Windows Domäne, sowie diverse andere Dienste des Kunden virtualisiert werden.

Wir würden Enterprise NVMe SSDs verwenden.

Sehr gute Idee.

Die NAS ist eine Synology UC3400, die hätte zwei aktive Controller, somit wäre da dann die Wahrscheinlichkeit eines Ausfalls geringer. Alternativ würden auch zwei RS2423RP+ mit HA Funktion gehen. Wäre so HA möglich?

Die UC3400 ist ein klassisches Dual Controller SAN Storage, was du per SAS oder iSCSI anbinden kannst. SAS wäre da am einfachsten und super Robust.
Du müsstest dich da nur einmal mit Multipathing auseinandersetzen. Aber damit hättest du eine Super Redundante Lösung, falls ein kleiner Datenverlust nicht tragbar ist.

Ich habe einige 2 Node Cluster mit ZFS Replika bei Kunden am laufen, die DBs werden alle 1 Minute synchronisiert und unkritischere VMs nicht so oft.
Live Migration geht ja trotzdem und das Setup läuft überall sehr stabil.

 

[Johannes S]

Wir reden hier aber von einem Homelab. Und selbst wenn der NFS-Server auf der oben erwähnten Synology ultra-stabil wäre: das essentielle Netzwerk ist vermutlich ebenfalls nicht redundant und trägt so einen weiteren Teil zur Ausfallwahrscheinlichkeit des NFS-Servers bei. (Genau wie die beteiligten Stromversorgungen usw.)

Mittlerweile nicht mehr:

Auf dem PVE soll eine Windows Domäne, sowie diverse andere Dienste des Kunden virtualisiert werden.

Dafür halte ich auch den Weg mit der Storage-Replication für den Schmerzfreiesten mit dem geringsten Ausfallrisiko. Ja, man hat da im worstcase einen Datenverlust von einer Sekunde und es mag Anwendungen geben, wo das nicht tragbar ist. Da würde ich dann aber versuchen die Hochverfügbarkeit auf Anwendungsebene sicherzustellen (etwa bei Datenbanken), soweit möglich. Falls das nicht geht, kann man natürlich die Synology als shared storage nehmen, aber wenn ich https://www.synology.com/de-de/products/UC3400 richtig verstehe kann man damit die Anbindung nur über iSCSI oder Fibrechannel machen? Damit waren lange Zeit keine Snapshots unter ProxmoxVE möglich, der Support dafür kam erst mit ProxmoxVE 9 und ist noch im "experimental"-Status, darauf würde ich mich für eine Produktionsumgebung noch nicht verlassen wollen. Dafür hat die Synology shared Storage den Vorteil, dass es (anders als bei ZFS) keinen Datenverlust geben kann, ob das einen das Risiko durch den SPOF wert ist, muss man sich halt überlegen.
Bei der Froscon gab es letztes und dieses Jahr einen Vortrag zu ProxmoxVE durch Alexander Wirt von Credativ. In beiden erwähnte er, dass er bei kleinen Kunden auf per NFS angebundenen Enterprise-Storage setzt. Nun war Credativ letztes Jahr auch noch Teil von Netapp (mittlerweile sind sie eigenständig), aber auch wenn man das als Bias abtun mag, hat der Ansatz durchaus seine Vorteile: Echter shared storage (also ohne den minimalen (1minute) Datenverlust von zfs) plus Support für Snapshots mit QCOW-Images auf dem NFS-Share. Frage ist halt, ob man dann noch Budget hat, um den Storage ausfallsicher (also mit genug Redundanzen) aufzubauen und falls nicht, welches Risiko (Datenverlust bei ZFS versus Datenverlust- und Produktionsausfälle bei Ausfallen der NAS/SAN) man als weniger schlimm einschätzt.

@Maximilian1998 Leider scheint eure Synology nicht die Möglichkeit zu haben docker-container oder VMs zu hosten. Damit könnte man nämlich sie als qdevice oder für eine ProxmoxBackupServer-VM nutzen. Generell frage ich mich, wie du das Backup für den Kunden organisieren möchtest. So ein Setup (zusätzlicher ProxmoxBackupServer für das Backup+ qdevice, der zusätzlich die Backups auf einen anderen PBS offsite synct, der mit PBS 4.0 dazugekommene S3-Support ist auch noch "experimental") würde das mit erschlagen und der Backupserver muss ja kein so fetter Hobel wie dieVirtualisierungshosts sein