"HA-Cluster" nur mit Hosts

[gweep]

Hallo,

Ich befasse mich mit Proxmox jetzt seit 2 Tagen, habe mir eine kleien Spielwiese (HomeLab) mit erst zwei Systemen aufgebaut die im Cluster laufen. Ich bin dann noch auf die Loesung gestoszen das man drei und mehr Hosts miteinander zu einem "HA-Cluster" ueber ZFS verbinden kann. Sync Zeit kann man ja selbst definieren usw. - daher auch "" da mir klar ist dass das keine professionelle Loesung ist ohne Storage, die ich aber in dem Fall gar nicht brauche.
Da ich aber HA-Cluster eigentlich nur vom Betrieb in Firmen kenne, nicht auf diese Basis und ich nur eine Vermutung habe wie das funktioniert, wollte ich mal hier die Frage in den Raum stellen, wie das dann genau mit den SSDs und dem Sync ablaeuft.

Wenn ich also 5 Systeme habe, die jeweils eine 500GB SSD und eine 2TB SSD haben und diese zu einem HA-Cluster zusammenfuehre, die LXC und VMs dann ueber diese Verteile, wie wird das mit dem Diskspace dann genau gehandhabt?
Geht Proxmox dann her und verteilt die Daten 1:1 auf alle 5 Hosts gleich oder werden die Daten aehnlich wie bei einem Raid verteilt so das hier max. 1 oder 2 Hosts ausfallen koennen ehe es zu einem Datenverlust kommt?
Ich vermute ja das es 1:1 ist und somit auf allen 5 Hosts die Belegeung der SSD immer gleich ist.

 

[Johannes S]

Die Hosts synchronisieren sich ihre Daten in dem von Admin bei den VMs konfigurierten Zeitabständen ( Default: 15 Minuten, kann auf 1 Minute reduziert werden). Das reduziert auch die nötige Zeit für Migrationen und ja, der Dstenvestand ist dann auf allen Knoten, wo die VM hinrepliziert wurde, gleich:

https://pve.proxmox.com/wiki/Storage_Replication


Da das mit zfs send/receive arbeitet, funktioniert das nur mit ZFS Storages.

Weiterer Nachteil: Der Datenverlust durch den zeitlichen Abstand, wenn man nicht damit leben kann, braucht es eine andere Lösung. Entweder ein shared Storage auf einen NAS wie NFS oder man baut sich mit lokalen Festplatten auf den Knoten einen Ceph-Cluster zusammen. Das benötigt aber deutlich mehr Ressourcen ( mindestens drei Knoten, besser fünf Knoten und pro Knoten vier Festplatten ( im Idealfall NVME/SATA/SAS SSD), damit das von der Performance passt.
Für mein Homelab reicht mir ZFS Replikation vollständig aus, für ordentliche Performance via NFS oder Ceph fehlen mir die Ressourcen. Bei Firmen sieht das je nach angestrebten Größe der Ungebung schon wieder anders aus, da hat man ja ein Budget für vernünftige Hardware.

Steht auch alles in der Doku oder in älteren Forumsbeiträgen ( Suchfunktion benutzen bildet).

 

[gweep]

Danke. Das ist mir alles klar, beantwortet aber nicht meine primaere Frage: Wie sind die Daten verteilt auf den Platten. Haben alle 5 Platten die vollen Daten 1:1 gleich oder verteilt sich das wie bei einem Raid 5 auf die Systeme.
Das das alles langsam ist etc. ist mir klar, damit kann ich leben. Wie gesagt, ist eine Spielwiese und im Grunde ist nichts so wichtig das es unbedingt in einem "HA-Cluster" muss, ist mehr so ein nice to have.
Aktuell sieht es eh mehr nach einem einfachen Cluster aus, wo ich einfach die VMs/CTs verschiebe beim Updaten oder zur Lastverteilung und ich muss nicht alle Hosts laufen lassen, was die Stromrechnung reduziert

 

[Johannes S]

Hallo,

Das kommt darauf an, ob du die Images der VM auf alle oder nur einen Teil der Hosts replizierst. Du kannst ja auch Hardware an eine vm durchreichen, die kann natürlich nicht mitrepliziert werden und dann braucht es auch keine Replikation für die VM ( spart Speicherplatz auf den anderen Knoten). Die replizierten Daten werden 1zu1 durchgereicht.

Soweit zu ZFS, wie Ceph intern die Daten verteilt, weiß ich nicht.

Noch was zur Hochverfügbarkeit: Damit das bei zwei Knoten sauber funktioniert, wird empfohlen ein drittes Device ( raspberry reicht) als qdevice hinzuzufügen:
https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

Das übernimmt dann das Voting, wenn ein Knoten ausfällt und der verbleibende Knoten dann nicht weiß, ob er übernehmen soll oder nicht ( da es dafür eine Mehrheit braucht, eine Stimme ist ja keine)


Wegen Stromsparen: Da scheint es mir sinnvoller und weniger fehleranfällig, die beiden Knoten NICHT als Cluster zu betreiben, sondern auf beiden Knoten einen Proxmox Backup Server in einer eigenen vm zu haben. Die sichern sich dann gegenseitig und im Bedarfsfall kann das dann daraus wiederhergestellt werden. Hat man außerdem direkt auch Backups für den Notfall und muss sich nur noch was für ein Offsite-Backup überlegen ( meine Lösung: Billiger vserver für unter 10 Euro/Monat mit PBS, der sich die Backups aus meinen Homelab-PBS zieht).

Wenn du stromsparende, bezahlbare Hardware suchst: Gebrauchte Mini-PCs ( Thinkcentre, Elitedesk, Optiplex ) gibt es für kleines Geld im Netz, ich komme mit meinen drei Proxmox-Knoten auf einen Strompreis von nicht ganz einen Euro pro Tag.




Schöne Grüße, Johannes.

 

[gweep]

Daran hab ich nicht gedacht obwohl ich es gesehen habe, stimmt, ich kann mir ja aussuchen wohin ich repliziere. Das der Backup Server auch frei nutzbar ist, wusste ich nicht. Das ist natuerlich super, weil dann kann ich mich mit dem Thema auch befassen.
Ich habe eine NAS und noch eine aeltere Workstation die ich auch als Server betreibe, drehe die aber nur auf wenn ich sie brauche und lasse das Zeug nicht 24/7 laufen.

Ich habe mir letztes Jahr 5 Mini PCs gekauft, alle haben 64 GB Ram, eine 2 TB M.2 SSD und einen AMD Ryzen 7 5700U/5800U Prozessor, die ja an sich schon stromsparend sind. Die Leistung reicht aus, ich habe aktuell auf zwei Hosts (nicht Proxmox) so Sachen wie private Cloud, Git, Kanban Board, Monitoring, Intranet (ned wirklich wichtig aber fuer Infos und Termine in der Familie), Datenbank, Security Tools/Server, Client VMs laufen. Aktuell geht sich das alles inkl. einem Domain Server (nur fuer die Hosts), Docker Swarm (VM und Raspi's) auf einem Host aus. Die meisten VMs sind Linux Systeme.

Dass das alles fuer zu Hause uebertrieben ist usw. ist dann eher nicht das Thema, das ist eher der Klaescher den ich habe und ich schau mir gerne neue Sachen an

Ich muss gestehen ich bin echt ueberrascht wie gut Proxmox umgesetzt ist und wie einfach es zu konfigurieren ist. Also ein Hyper-V HA Cluster ist meiner Meinung nach komplizierter und VMware, zumindest mit meinem letzten Wissenstand, auch.


Danke auf alle Faelle fuer die Antwort und Hilfe, ich denke ich werde das mit dem Cluster einfach mal probieren und durchspielen, ggf. eh schon dieses Wochenende. Hab eh Bereitschaft und somit kann ich eh nichts groszartiges unternehmen

 

[Johannes S]

Die Lizensierung beim PBS funktioniert wie bei PVE: Ohne subscription, kriegt man keinen Zugang zum Enterprise-Repository, keinen Anspruch auf Support , dafür aber regelmäßige Popups, dass man keine Subskription hat. Damit kann ich im Homelab gut leben
Im Vergleich zum regulären Backup kriegt man damit halt Features wie Verschlüsselung, Deduplizierung (spart Platz und Zeit) und einige mehr.

Wenn du damit leben kannst, deine Dienste umzuziehen (weil die ja aktuell als Baremetal zu laufen scheinen) und Umstellungsaufwand zu haben, würde ich die fünf Mini-PCs in zwei Cluster aufteilen:

• Einen für Sachen, die "einfach funktionieren" sollen, also alles, wo du oder deine Familie sich ärgern, wenn es nicht läuft und die Performance nicht zu schlecht sein darf
• Einen weiteren als "Spielwiese" für Experimente, denn du also auch kaputtmachen kannst oder mit Sachen experimentieren, auch wenn die Hardware/Performance dann nicht ganz so dolle ist.

Welcher davon dann drei und welcher zwei (+ qdevice) kriegt, hängt dann halt davon ab, wieviele Ressourcen du wofür ausgeben willst.
Was für ein NAS hast du im Einsatz? Einige NAS unterstützen VMs, damit könntest du das NAS auch für PBS und/oder das Qdevice nutzen. Wobei es auch NAS gibt, die das mit dem qdevice direkt schon das als Feature drin haben (hier im Forum wurde mal erwähnt, dass manche Synologys die Einrichtung als Qdevice in der GUI anbieten). truenas dagegen hat ja z.B. die Option für VMs eingebaut. Ich habe dich doch richtig verstanden, dass das NAS 24/7 an ist, aber nur die Workstation nur nach Bedarf angeschaltet wird?

 

[Azunai333]

wie Ceph intern die Daten verteilt, weiß ich nicht.

Kurz gesagt:
Ceph nutzt zur Speicherung OSDs. Eine OSD ist ein Dienst, wobei einer pro Festplatte gestartet wird.

Die Standardkonfiguration ist:
- Failure domain ist host. Dadurch wird sichergestellt, dass mehrere Repliken nicht auf OSDs des gleichen Hosts landen.
- Ein Pool hat 3 Repliken, wovon 2 für einen Zugriff online sein müssen.
Dadurch kann ein kompletter Host ausfallen, alle Daten bleiben komplett verfügbar.

Ceph nutzt das Netzwerk sehr stark, da standardmäßig 3 Kopien der Daten gespeichert werden.
Ein Schreibzugriff wird erst als abgeschlossen gemeldet, wenn alle Repliken geschieben wurden und die Festplatten dies melden. D.h. es gehen bei einem Ausfall eines Hosts im Gegensatz zu ZFS keine Daten verloren.

Für halbwegs gute Performance würde ich keine definitiv keine QLC SSD nehmen. Für richtig gute Performance sind PLP-fähige SSD zu empfehlen.
Wenn Ceph nur im Homelab verwendet wird, kann man auch zu Testzwecken nur 2 Repliken nutzen - wichtige Daten würde ich dann aber nicht darauf Speichern.

 

[gweep]

NAS ist eine aeltere QNap 669 Pro mit 6x 3 TB HDDs (7200rpm) was aber eh wurscht ist weil die nur 1 GBit kann und somit die Beschrankung das LAN ist. VM's kann sie, aber macht keinen Sinn. Da ist eine 2 Kern CPU drin (Intel Celeron) und 3 GB Ram. Das Ding ist nur noch da um die Backups zu halten, mal auf externe HDDs, mal auf der NAS.

Wichtige Daten gibt es quasi nicht, das was mir wichtig ist, das ist in einer private Cloud ala Nextcloud gespeichert und auf mehrere Systeme dadurch verteilt, ebenso alles was in Git ist, gibt es sowohl am Server als auch auf den Clients. Alles andere ist verschmerzbar, Files liegen sowieso auf einem anderen Server.

Aber ja, alles nur Homelab, anschauen, lernen und probieren. Auch hinsichtlich anderer Applikationen. Im Moment mach ich z. B. Red Hat Schulungen, da probiere ich dann eben nebenbei Dinge aus.

Also nichts ernstes um es in irgendeiner Form zu uebertreiben, da gehts mehr um probieren und Spasz an der Sache. In einem Unternehmen wuerde ich so einen Aufbau definitiv nie betreiben

 

[Johannes S]

Das NAS ist also das Datengrab, ok Ja 3GB Gesamt-RAM und VM, das klingt nicht sehr sinnvoll. Für ein minimalistisches Linux als Qdevice könnte gehen, aber ob das dann vom Netzwerk gut genug ist, keine Ahnung.
Wegen dem Backup: Das NAS könntest du ohne Probleme über cifs oder nfs für die normale Backupfunktion von Proxmox nutzen (Speicherung als vzdump flatfiles). Da gehen halt die ganzen coolen Sachen vom PBS (Datensparsamkeit, Verschlüsselung, single-file-Restore) nicht, aber dass muss ja nicht unbedingt schlimm sein, je nach Anforderung.
Der PBS arbeitet für seine ganzen coolen Features dagegen mit sogenannten Chunks (zig sehr kleinen Dateien), die direkt auf dem Datastore liegen, daher wird dort offiziell nur eine lokale Festplatte (empfohlen: Enterprise-SSD) unterstützt. Prinzipiell ist darunter aber auch ein Debian, du könntest da also auch dein NAS über NFS als Datenspeicher mounten (nur halt nicht über das Webinterface). Praktisch macht das von der Performance nur sehr begrenzt Sinn. Ich würde daher die PBS-Vms der beiden Cluster als primäres Backup sehen (die dafür auch mit der Festplatte des Knoten arbeiten), wo auch mehr Backups vorgehalten werden können dank der Deduplizierung. Zusätzlich dann Backup als Flatfiles auf der NAS, damit man noch einen älteren Stand der VMS hast, falls einen die Daten auf den Clustern weg kommen.

 

[gweep]

Keine Ahnung warum mir das so freude bereitet, aber ich freu mich darueber das es mit ersten Anlauf gleich funktioniert hat und der HA-Cluster mit 3 Nodes zum Testen mal laeuft. Fuers Entgueltige verwende ich dann 2.5 GBit NW Adapter und einen passenden Switch, da koennen die fuenf sich dann miteinander auf dem Switch unterhalten.
Ich weisz ehrlich gesagt nicht warum ich nicht frueher schon Proxmox verwendet habe. Werde mich mal bis morgen herumspielen und dann morgen oder am Sonntag alles final so umsetzen wie ich denke das es passt.

Danke fuer euren Input und Hilfe.