Proxmox Cluster oder Backup Server oder andere Lösung

spooner

Member
Sep 7, 2022
39
6
13
Hallo Zusammen,
ich möchte meine Virtualisierungsumgebung neu aufsetzen.
Außerdem möchte alle Daten von der Synology auf eine Nextcloud transferieren.
Ich habe zwei identische Hosts.
Intel Core i5 6 Core, 12 logische CPU
128GB Ram Kingston
512GB NVMe Kingston KC3000
4TB Kingston SSD Kingston DC600M

Meine erste Überlegung war:
Ein Proxmox Cluster aufbauen mit den je einem lokalem ZFS Pool auf der 4TB SSD in den Hosts.
Die Replitzierung würde ein mal Tag ausreichen.

Zweite Überlegung:
Ein Proxmox Server
Ein Proxmox Backup Server

Dritte Überlegung:
Ein Proxmox Server
Zweiter Proxmox Server in quasi Standby
Backups nachts auf Synology NAS

Was meint ihr?
Was ist eine sinnvolle Konstellation?
Was ist gut zu administrieren?

Gruß Arthur
 
Zweite Überlegung:
Ein Proxmox Server
Ein Proxmox Backup Server
Sobald der einzige PVE stirbt, sind alle VMs weg und somit alle deine Dienste tot. Falls das Dinge wie Homeautomation (Homeassistant) betrifft und dann kein Lichtschalter mehr funktioniert, kann das ärgerlich sein. Dann musst du Ersatz beschaffen, einen neuen PVE aufsetzen und hoffen, den verstorbenen hinreichend dokumentiert zu haben, um ihn nachzubilden. Danach musst du Backups zurückspielen...

Mit einem Zweier-Cluster (zwingend plus QDevice!) klappt das Ersetzen entspannter: da (in meinem Bild) alle VMs repliziert werden, kannst du die kritischen VMs/Dienste einfach auf dem Überlebenden starten. Die Reparatur des Ausgefallen darf dann relativ gemütlich geschehen.

Der zweite PVE darf übrigens gleichzeitig PBS installiert haben, auch wenn die Empfehlung "separate Hardware!" natürlich dennoch gilt.

Wenn diese Hardware stirbt, sind aber alle Backups weg. Darum gehört in das Konzept ein weiterer PBS, der sich vielleicht nur einmal pro Woche automatisch einschaltet, alle Backups "pull-synced" und sich danach wieder schlafen legt. Dann fehlt nur noch die "außer Haus"-Kopie und alles ist im grünen Bereich :-)


Viele Wege führen nach Timbuktu. Aber ohne Redundanzen (auf einigen, nicht zwingend auf allen Ebenen - bei mir fehlen zum Beispiel redundante Switches) fahre ich nirgendwo hin...
 
  • Like
Reactions: Johannes S
OK, also dann folgendes aufbauen:

Variante 1:
2-Node Cluster
System 1: Proxmox Server
System 2: Proxmox Server
Raspi für QDevice

VM Backup auf Synology NAS ohne Backup-Server
Für eine Datenwiederherstellung innerhalb einer VM, muss diese eine zusätzliche Backup-Software installiert haben.


Variante 2:
2-Node Cluster
System 1: Proxmox Server
System 2: Proxmox Server und Backup Server
Raspi für QDevice
Backup-Server auf anderer Hardware
Backups liegen dann auf Synology

Hab ich das richtig verstanden?
 
Hab ich das richtig verstanden?
Radio Eriwan: im Prinzip ja.

Zwei PVE + Cluster + QDev sind ja in beiden Varianten drin. Das ist gut so.

In Variante 1 hast du aber nur ein Backup. Wenn deine Syno stirbt, sind alle Backups weg. Es fehlt ein zweiter Backup-Weg (plus einmal außer-Haus).

Du hast zwar Replikationen auf der jeweils anderen Kiste, aber das basiert auf Snapshots. Und Snapshots sind nun einmal keine Backups. Wenn Dateien "kaputtgehen" wird dieser defekte Zustand repliziert - alle Replikate sind dann hin. "Man könnte" Snapshots lange aufheben. Auch diese Idee wird gerne diskutiert. Für mich ist das unpraktisch, ich verwende nur wenige, kurzlebige Snapshots.

Ich reite gerne auf "Backup, Backup, Backup" herum - das Thema wird ja gerne mal weg-ignoriert. Jedes Backup ist besser als gar keines.

Fang mit "1" an, das ist ein guter Start. "vzdump"-Backups per NFS auf die Syno funktionieren einwandfrei.

Jedes einzelne Backup belegt dann jeweils den gleichen Platz, die Syno wird eventuell schnell voll. Meine PBS' laufen mit einem De-Duplikationsfaktor um 30 herum. Ich kann 90 Backups speichern, wo nur Platz für drei ist. Das will man einfach haben...!

(( Nähkästchen: auch ich habe eine Synology im Keller. Da drauf läuft eine virtuelle Maschine mit PBS, die NFS Storage derselben Syno verwendet. Auch so etwas funktioniert. Bei mir ist das eine dritte PBS-Instanz und die Kiste schaltet sich einmal pro Woche automatisch ein und auch wieder aus. Das läuft seit Jahren zuverlässig, aber so eine Konstruktion ist definitiv nicht empfohlen! Ich würde das jedenfalls nicht als einziges Backup verwenden wollen. ))
 
  • Like
Reactions: Johannes S
Eine andere Variante könnte auch noch sein, dass beide Server NICHT in einen gemeinsamen Cluster sind, jeweils den PBS installiert haben und sich gegenseitig sichern. Braucht halt genug Platz. Oder an den PBS eine externe Platte als removable datastore einbinden, lagert man die außerhalb hat man ein sehr günstiges offsite Backup. Nachteil: Manueller Eingriff nötig, kann vergessen werden.
 
  • Like
Reactions: UdoB
Hallo Zusammen,
danke für die Antworten.

Das Offsite Backup geht in die Cloud.
Das wollte ich dann mit Synology Hyper Backup machen.
Sprich: die Backups der VMs in Cloud pumpen.

Wenn ich ein Cluster einrichte, dann muss es ein ZFS Volume sein, richtig?
Weil ich irgendwo mal gelesen habe, dass ein LVM Volume den Vorteil hätte, das man die VMs als Datei vorliegen hätte und man diese einfach per copy&paste auf ein anderes System kopieren könnte.

Oder kann das Backupfile über das Standard Proxmox Backup über GUI auch so verwendet werden?
Wo ist der Unterschied zum vzdump statt der GUI?
 
Das Offsite Backup geht in die Cloud.
Das wollte ich dann mit Synology Hyper Backup machen.
Sprich: die Backups der VMs in Cloud pumpen.

Das kann man machen, dann würde ich aber NICHT den PBS für das offsite-Backup nehmen, da es derzeit noch kein offiziell unterstütztes Verfahren gibt, um dessen Datenbestand zuverlässig auf Cloudspeicher zu übertragen. Es kursieren Hacks wie man das trotzdem hinkriegt, aber die Berichte über deren Zuverlässigkeit sind vorsichtig ausgedrückt durchmischt. Stattdessen würde ich auf der Synology mit dem Standardbackupverfahren von ProxmoxVE die vzdump vma-Dateien speichern und die dann synchronisieren mit dem Hyper Backup. Ein oder zwei lokale PBS für zusätzliche lokale Backups sind dagegen sehr sinnvoll, da dort die Backups weniger Platz wegnehmen und somit mehr Kopien aufbewahrt werden könnten. Die Offsite-Backups sind dann halt für den absoluten Notfall :) Wenn du etwas Budget überhast, könntest du dir aber auch PBS als Cloudstorage bei Inett mieten (0,02 Euro pro GB), bei tuxis.nl ein freies Konto (maximal 150 GB) registrieren (die Bezahlvariante geht in Deutschland leider nur für Firmenkunden) oder (so mache ich es) dir bei Netcup oder einen anderen Anbieter einen günstigen vserver für einen offsite-PBS mieten.
Wenn ich ein Cluster einrichte, dann muss es ein ZFS Volume sein, richtig?

Nein. Grundsätzlich wird ein Cluster eingerichtet, weil man gerne möchte, dass im Fehlerfall die VMs/Container eines ausgefallenen Knoten auf einen anderen Knoten weiterlaufen müssen. Dafür müssen die Daten natürlich für beide Knoten verfügbar sein. Das wird man normalerweise über einen gemeinsamen Speicher realisieren (z.B. eine NFS- oder ISCSI-Freigabe auf einer NAS oder per fibre channel an eine SAN) , verteilten Netzwerkspeicher (wie Ceph oder (als Drittbieterangebot) Starwind Virtual SAN). ZFS ist dafür NICHT nötig:
https://pve.proxmox.com/wiki/Storage#_storage_types
Alle diese Lösungen haben gemeinsam, dass sie entweder teuer sind oder (für ein Homelab) überdimensioniert sind, wenn man keinen single-point-of-failure haben will (da entsprechend mehr Hardware, Netzwerkinfrastruktur etc benötigt wird), hier ist ein Beispiel für Ceph: https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.159671/ für Ceph

ZFS ist dagegen eigentlich kein gemeinsamer Storage, da es sich um ein Dateisystem auf dem lokalen Festplatten handelt. Es hat aber einiges an Features, die andere Dateisysteme nicht haben ( siehe dazu auch https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/ ). Eines davon ist die Möglichkeit Snapshots zwischen verschiedenen Servern zu synchronisieren (zfs send/receive sind relevante Google-Stichwörter). Das kann in einen ProxmoxVE Cluster für eine Art Pseudo-HA genutzt werden:
https://pve.proxmox.com/wiki/Storage_Replication

Damit werden standardmäßig alle 15 Minuten die VMs/Container, ihre Daten und Konfiguration auf andere Knoten übertragen. Effekt: Beim Ausfall eines Knotens gehen nur die dazugekommenen Daten seit der letzten Synchronisation verloren, die VM/der Container selbst läuft dann auf einen anderen Knoten weiter (halt mit Datenverlust bei Ausfall, bei einer Migration ohne, da noch fehlende Daten dann synchronisiert werden).
Diesen Zeitraum kann man auch erhöhen (auf mehrere Stunden) oder (bis auf eine Minute) reduzieren. Damit bietet sich gerade für kleine Cluster (wie bei mir zuhause im Homelab oder kleineren Mittelständlern) an, wo Ceph oder ein shared storage völlig überdimensioniert wären, man aber trotzdem eine annährende Hochverfügbarkeit mit minimalen Datenverlust realisieren möchte. @Falk R. hat hier mehrmals beschrieben, wie er solche Setups für mittelständische Unternehmen eingerichtet hat (Zwei Server als ProxmoxVE Cluster, dazu ein dritter Server als PBS und quorum device für den Cluster https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support ). Je nach Anwendung kann man schließlich mit so einen minimalen Datenverlust leben und wo man das nicht kann, ist ja unter Umständen immer noch möglich, die Hochverfügbarkeit auf Anwendungsebene zu realisieren (bei Datenbanken etwa indem auf jeden ProxmoxVE-Knoten eine Datenbank-VM aufsetzt, die wieder untereinander einen Cluster bilden und somit die Verfügbarkeit und Konsistenz sicherstellen).

Wenn man dagegen die Daten zwischen verschiedenen Clustern transferieren möchte, kann man pve-zsync nutzen:
https://pve.proxmox.com/wiki/PVE-zsync
Das überträgt die Daten samt Konfiguration auf einen anderen Host und diese können dort dann auch gestartet werden (praktisch, wenn man bei einen Ausfall schnell wieder die Dienste am laufen haben will).

Aber: Sowohl PVE-zsync als auch die Storage replication setzen ZFS voraus, da nur dort die nötige Funktionalität enthalten sind. Nur wie gesagt kann man einen Cluster mit Hochverfügbarkeit auch mit anderen Storages aufsetzen. Generell sollte man sich klar machen, dass ein Cluster auch mehr Komplexität bedeutet, daher würde ich mir das in deinen Fall gut überlegen, ob du die Funktionalität wirklich brauchst oder ob es nicht sinnvoller ist beide Server als single-node-Instanzen (also nicht im Cluster) zu betreiben->Geringere Fehlerquelle.
Weil ich irgendwo mal gelesen habe, dass ein LVM Volume den Vorteil hätte, das man die VMs als Datei vorliegen hätte und man diese einfach per copy&paste auf ein anderes System kopieren könnte.

Das geht mit ZFS auch, die Frage ist aber wozu? Standardmäßig speichert ProxmoxVE die VMs in Blockspeichern (egal ob Ceph, ZFS oder LVM), da damit der Overhead eines Dateisystems wegfällt kann das je nach Anwendung deutlich schneller sein. Außerdem ist diese Datei "nur" die jeweilige Festplatte der VM, die restliche Konfiguration muss man immer noch auf anderen Weg auf das andere System packen. Innerhalb eines Clusters kann man eine Migration dagegen direkt über die GUI machen, zwischen zwei verschiedenen Clustern oder cluster-losen Knoten auf der Kommandozeile mit pct remote-migrate (container) oder qm remote-migrate (VMs). Falls man dafür eine GUI möchte: Die ist gerade im Alphatest: https://pve.proxmox.com/wiki/Proxmox_Datacenter_Manager_Roadmap
Ein Vorteil ist das eher für Leute, die das so von vmware oder was auch immer sie vorher hatten so gewohnt sind. Wenn man von PVE auf vmware wechselt, würde man das genau umgekehrt empfinden (Der Mensch mag Vertrautes, nicht böse gemeint).

Oder kann das Backupfile über das Standard Proxmox Backup über GUI auch so verwendet werden?
Wo ist der Unterschied zum vzdump statt der GUI?

Im einen startet an das Backup über die GUI im anderen über die Konsole, die Technik dahinter ist die Gleiche.
 
Last edited:
  • Like
Reactions: UdoB
Vielen Dank für die ausführliche Erläuterung.
Ah, OK, also dann auf jeden Fall ZFS :)

Also am besten dann noch einen seperaten PBS, der muss aber nicht performant sein, der macht dann zusätzliche Backups aufs Synology NAS, mit Feature wie man sie z.B. von Veeam kennt.
Reicht dann da ein kleiner Mini-PC? Muss der auch permant laufen? Wenn ja, könnte der auch das QDevice sein?
Hatte auch mal an Synology Active Backup for Business gedacht, welches jetzt auch Proxmox unterstützt.
Damit wollte mich eh auch mal beschäftigen.
 
  • Like
Reactions: Johannes S and UdoB
Muss der auch permant laufen? Wenn ja, könnte der auch das QDevice sein?
Nein, der PBS muss nicht permanent laufen. Aber ein QDev muss dies!

Das QDev passt in einen einfachen Container auf der Synology, sofern die das kann und 24*7 läuft...
 
  • Like
Reactions: Johannes S
Vielen Dank für die ausführliche Erläuterung.
Ah, OK, also dann auf jeden Fall ZFS :)

Also am besten dann noch einen seperaten PBS, der muss aber nicht performant sein, der macht dann zusätzliche Backups aufs Synology NAS, mit Feature wie man sie z.B. von Veeam kennt.
Reicht dann da ein kleiner Mini-PC? Muss der auch permant laufen? Wenn ja, könnte der auch das QDevice sein?

Kann auch ein kleiner, gebrauchter mini-PC sein ja :)
Die Hardwareanforderungen vom PBS sind sehr genügsam, siehe: https://pbs.proxmox.com/docs/installation.html#system-requirements

Wegen der Anbindung der synology: Es ist zwar nicht empfohlen (siehe Systemrequirements), aber ja die könntest du per NFS oder CIFS (auf Kosten der Performance) anbinden. Eine andere Möglichkeit (sofern deine Synology das kann) wäre eine VM direkt auf der synology, das ist im Regelfall performanter, weil dir da die Netzwerkfreigaben dir nicht die Performance kaputt machen (siehe hier: https://forum.proxmox.com/threads/warum-ist-der-pbs-so-picky-bei-nfs-storage-mounts.160610/ )

Wenn der nicht als qdevice gebraucht wird, könntest du den auch ausgeschaltet lassen und immer nur per wake-over-lan für den Backupjob (kann man mit systemd timern oder als cronjob super automatisieren) an- und wieder ausschalten. Das qdevice (wo auch immer du den Dienst laufen lässt) muss ständig on sein. Oder eben zwei externe Laufwerke als removable datastores für den PBS (der dann auch als VM direkt auf dem ProxmoxVE Server laufen kann) nehmen, eine davon kannst du dann ja offsite (bei Familienangehörigen/Freunden) lagern und beide von Zeit zu zeit den Standort tauschen (die billige aber umständliche Variante des offsite Backups).
 
  • Like
Reactions: UdoB
Ich hab jetzt noch eine Idee:
einen neuen Mini-PC, darauf wird dann auch ein Proxmox installiert, aber nicht ins Cluster integriert.
Auf dem läuft ein CheckMK und ein Linux Mint oder Win 11 als Jumphost
Entweder ist der Proxmox dann das QDevice oder die CheckMK VM

Was haltest ihr davon?
 
  • Like
Reactions: Johannes S
Was haltest ihr davon?
Monitoring von außerhalb des Cluster ist generell eine gute Idee!

((
Mein Monitoring läuft als VM auf dem Cluster. Natürlich hat das Nachteile, aber dafür ist die Monitoring-VM per HA hochverfügbar, was wiederum ein Riesenvorteil ist...

Diverse Dienste monitore ich von "draußen", von einer (kostenfreien!) Oracle-Cloud Instanz aus. Es gab (gibt?) dort mal sehr großzügige "Ampere"-Maschinen. Dies ist keine Empfehlung für ernsthafte Nutzung: Oracle schaltet solche kostenfreien Dinge auch gerne mal ohne jegliche Nachfrage oder gar Begründung brutal ab!
))

Entweder ist der Proxmox dann das QDevice oder die CheckMK VM
Naja, wenn die Kiste 24*7 laufen wird, kann sie auch gleich Cluster-Member sein. Dann brauchst du kein künstliches QDev mehr ;-)
 
  • Like
Reactions: Johannes S
Naja, wenn die Kiste 24*7 laufen wird, kann sie auch gleich Cluster-Member sein. Dann brauchst du kein künstliches QDev mehr ;-)

Dafür ist der Knoten Teil des Cluster und von dessen Funktionsfähigkeit abhängig, das würde ich zumindestens beim Backupserver lassen ;)
Auch weil wer auf einen Knoten kommt ( etwa ein Hacker), auch alle anderen kommt.
 
  • Like
Reactions: UdoB
Auch weil wer auf einen Knoten kommt ( etwa ein Hacker), auch alle anderen kommt.
Gutes Argument.

Das gehört allerdings zu den Dingen, die ich zu hause gerne "wegignoriere" - ich habe hier im Homelab (fast) keine von außen erreichbare Dienste. Zum Ausgleich habe ich viel mehr PBS' als empfohlen :-)
 
  • Like
Reactions: Johannes S
OK.
Ich habe bisher immer MS Hyper-V bei den Kunden eingesetzt.
Lief nicht schlecht, aber der Windows Server hat schon so sein Eigenleben, ist halt Microsoft.

Wäre das hier beschriebene Konstrukt auch bei Firmen einsetzbar?
Bei kleineren Kunden wo so ca. 5 VMs laufen und ca. 15 Clients auf die Systeme zu greifen?
 
OK.
Ich habe bisher immer MS Hyper-V bei den Kunden eingesetzt.
Lief nicht schlecht, aber der Windows Server hat schon so sein Eigenleben, ist halt Microsoft.

Wäre das hier beschriebene Konstrukt auch bei Firmen einsetzbar?
Bei kleineren Kunden wo so ca. 5 VMs laufen und ca. 15 Clients auf die Systeme zu greifen?
Ich habe bei einigen kleinen Kunden bis 80 VMs ein 2 Node Setup, oft auch in 2 Brandabschnitten am laufen.
Dort macht fast immer der PBS auch das Quorum, außer bei 2 Raum Setups und es gibt nur einen kleinen Netzwerkverteiler im 3. Brandabschnitt, dann kommt da ein MIniPC als Quorum hin.
Die ZFS Replika stelle ich bei SQL Servern auf alle 1 Minute und bei den anderen Servern, je nach dienst auf alle 15 Minuten bis 1 Stunde.
Live Migration für Wartung geht damit auch und ist daher sehr Komfortabel, sogar so gut, dass viele Kunden sogar selbst die Hosts patchen, was bei VMware die wenigsten selbst gemacht haben.
Auch die Integration des PBS in die PVE GUI lieben die Admins. ;)
 
  • Like
Reactions: Johannes S
Super, das hört sich gut an.
Dann muss ich jetzt mal die Hyper-V VMs in den Proxmox migrieren, damit ich einen Host frei habe für den Proxmox neuzuinstallieren.
Muss die Hardware noch umbauen und los gehts.
Wenn der steht, dann muss ich die VMs vom vorhandenen Proxmox migrieren, damit ich dann da die Hardware migrieren kann.
Muss ich da aber noch schlau machen wie das geht.

Und dann werde ich das Konstrukt mal so in Betrieb nehmen und testen und beim nächsten Kundenprojekt mal ins Auge fassen.
 
  • Like
Reactions: Johannes S