Proxmox Replikation ohne Cluster

[Frosch1000]

Hallo Zusammen,

Ich betreibe demnächst 2 Proxmox Server auf einen mini PC.

1. Server hat 1tb ssd und 4tb ssd sowie eine 2tb externe Festplatte hdd als Backup Festplatte

2. Server hat eine 1TB Festplatte und ggf. Eine 2 tb externe Festplatte hdd als Backup.

Nun würde ich gerne bestimmte VMs und Container auf den 2. Server replizieren. Also quasi wie als Backup. Geht das ohne Cluster überhaupt?

Das starten der VM oder Container soll nur dann erfolgen, wenn z. B. der 1. Proxmox kaputt geht, das kann ich dann manuell machen, da ja alles nur privates Zeug wie Homeassistant, Nextcloud, Docker oder ähnliches ist.

 

[Chris]

Hallo Zusammen,

Ich betreibe demnächst 2 Proxmox Server auf einen mini PC.

1. Server hat 1tb ssd und 4tb ssd sowie eine 2tb externe Festplatte hdd als Backup Festplatte

2. Server hat eine 1TB Festplatte und ggf. Eine 2 tb externe Festplatte hdd als Backup.

Nun würde ich gerne bestimmte VMs und Container auf den 2. Server replizieren. Also quasi wie als Backup. Geht das ohne Cluster überhaupt?

Das starten der VM oder Container soll nur dann erfolgen, wenn z. B. der 1. Proxmox kaputt geht, das kann ich dann manuell machen, da ja alles nur privates Zeug wie Homeassistant, Nextcloud, Docker oder ähnliches ist.

Hallo,

ja für Storage Replication [0] braucht es ein Cluster (es Bedarf eines External Voter falls das Setup mit nur 2 Nodes laufen soll, siehe dazu [1]).
Auch die Prozedur zum Failover ist der Dokumentation zu entnehmen.

[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_pvesr
[1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_external_vote_support

 

[UdoB]

"Man könnte" (lies: nicht wirklich empfohlen) zwei einzelne MiniPC ohne Cluster nutzen und an ein gemeinsames Backup - vorzugsweise einen PBS - anbinden. Dann kann man beim Verlust des ersten einfach auf dem zweiten ein sauberes Restore durchführen. Einen automatisch funktionierenden Backup-Mechanismus brauchst du ja sowieso - zumindest in meinem Universum.

Ich würde immer einen Cluster aufbauen, selbst wenn das Szenario "es ist nur einer der beiden eingeschaltet" nicht vorgesehen ist und eigentlich eher für Ärger sorgt. (Stichwort QDev/Quorum-Device.) Ymmv.

Viele Grüße

 

[Dunuin]

"Man könnte" (lies: nicht wirklich empfohlen) zwei einzelne MiniPC ohne Cluster nutzen und an ein gemeinsames Backup - vorzugsweise einen PBS - anbinden. Dann kann man beim Verlust des ersten einfach auf dem zweiten ein sauberes Restore durchführen. Einen automatisch funktionierenden Backup-Mechanismus brauchst du ja sowieso - zumindest in meinem Universum.

So mache ich das hier. Beide PVE Server haben ein virtuelles PBS, sichern sich gegenseitig und die beiden PBS syncen sich dann noch gegenseitig ihre Backups. Aktuelle Backups aller VMs/LXCs sind also auf beiden Servern vorhanden und es ist egal welcher von beiden Servern ausfällt es läuft immer noch ein PBS von dem dann die Backups der ausgefallen VMs/LXCs auf dem verbleibenen PVE wiederhergestellt werden können.

Migrieren zwischen den Nodes klappt dann auch wunderbar per Backup+Restore. Wobei es ja jetzt als Alternative auch die Cross-Cluster-Migration per CLI zum Testen geben würde.

Management von IP Sets, Aliases und Security Groups sind aber ohne Cluster nervig. Die muss man dann manuell synchron halten und alles doppelt editieren/erstellen.

 

[UdoB]

So mache ich das hier.

Ja, du kannst das

Ich musste dennoch "nicht wirklich empfohlen" hinzuschreiben weil es als Empfehlung für einen Einsteiger eventuell keine gute Empfehlung ist.

Deine Erläuterung ist doch bereits ein eher ein komplexes Setup. Solange man im offiziell unterstützten Bereich bleibt, ist das Leben einfach einfacher. Basteln und "Spezialkonstruktionen" kommen eigentlich erst später, wenn das Fundament gut verstanden und aufgesetzt ist und stabil funktioniert. Trotzdem wollte ich diese Strategie erwähnen...

Viele Grüße - have fun!

 

[Dunuin]

Ja, du kannst das

Ich musste dennoch "nicht wirklich empfohlen" hinzuschreiben weil es als Empfehlung für einen Einsteiger eventuell keine gute Empfehlung ist.

Deine Erläuterung ist doch bereits ein eher ein komplexes Setup. Solange man im offiziell unterstützten Bereich bleibt, ist das Leben einfach einfacher. Basteln und "Spezialkonstruktionen" kommen eigentlich erst später, wenn das Fundament gut verstanden und aufgesetzt ist und stabil funktioniert. Trotzdem wollte ich diese Strategie erwähnen...

Viele Grüße - have fun!

Ja, da gibt es ein paar Fallstricke wie z.B. dass man Namespaces nutzen sollte und/oder VMID manuell protokollieren muss, dass die sich nicht überschneiden. Sonst geht da alles wunderbar über die webUIs.
Aber mit dem Cluster finde ich das jetzt auch nicht anfängerfreundlicher. Da hat man ja auch wieder Fallstricke mit Quorum, eigener NIC für Corosync, Hinzufügen nur von leeren Nodes etc.
So oder so sollte man sich da besser vorher einlesen und mit einem einzelnen Node Erfahrung sammeln.

 

[Frosch1000]

Hallo,

Vielen Dank für die ganzen Vorschläge.

Kurze Frage PBS = gemeinsame synchronisieren beider Systemplatten oder eine externe Festplatte außerhalb Proxmox z. B. an einer NAS oder Fritzbox.

Da nur eine 1gbit Leitung vorliegt, wäre ein Cluster selbst vermutlich nicht die beste Lösung?

Alternativ betreibe ich wohl beide Systeme unabhängig voneinander und kann jederzeit evtl. Backups dann wiederherstellen... Ist zwar nicht so die schnelle Lösung, allerdings vermutlich die kostengünstigere.... Wenn mal nextcloud oder homeassistant mal paar Stunden ausfallen sollten, geht die Welt nicht unter.

 

[Dunuin]

Backups dann wiederherstellen... Ist zwar nicht so die schnelle Lösung, allerdings vermutlich die kostengünstigere.... Wenn mal nextcloud oder homeassistant mal paar Stunden ausfallen sollten, geht die Welt nicht unter.

PBS kann Live Restore. Da kannst du dann die VM schon nutzen, während sie noch am Wiederherstellen ist. Ordentliche NIC sowie PBS Datastore auf SSDs wäre dafür aber natürlich förderlich.

Kurze Frage PBS = gemeinsame synchronisieren beider Systemplatten oder eine externe Festplatte außerhalb Proxmox z. B. an einer NAS oder Fritzbox.

Einzelne externe Platte außerhalb von Proxmox ist ungünstig. Da fängst du dir ja wieder einen Single Point of Failure ein. Am besten eine extra SSD je PVE Host für die PBS VMs. Geht zur Not aber auch auf der gleichen SSD auf der sich deine anderen VMs/LXCs befinden. Generell keine gute Idee die Backups auf der selben Disk zu haben wie deine Arbeitskopie, da du dann ja VMs + Backups glechzeitig verlierst, wenn die Disk mal abraucht, aber hier nicht so wild, wenn man PBS mit Sync-Jobs synchron hält, weil man dann ja 2 Kopien von allen Backups auf verschiedenen Nodes hat.

 

[Frosch1000]

PBS kann Live Restore. Da kannst du dann die VM schon nutzen, während sie noch am Wiederherstellen ist. Ordentliche NIC sowie PBS Datastore auf SSDs wäre dafür aber natürlich förderlich.


Einzelne externe Platte außerhalb von Proxmox ist ungünstig. Da fängst du dir ja wieder einen Single Point of Failure ein. Am besten eine extra SSD je PVE Host für die PBS VMs. Geht zur Not aber auch auf der gleichen SSD auf der sich deine anderen VMs/LXCs befinden. Generell keine gute Idee die Backups auf der selben Disk zu

haben wie deine Arbeitskopie, da du dann ja VMs + Backups glechzeitig verlierst, wenn die Disk mal abraucht, aber hier nicht so wild, wenn man PBS mit Sync-Jobs synchron hält, weil man dann ja 2 Kopien von allen Backups auf verschiedenen Nodes hat.

Danke für die schnelle Rückmeldung.

Voraussetzung für das live Backup ist doch immer noch ein 3 PVEs...

Die Frage ist eben, ob sich das alles für den Heimgebrauch überhaupt lohnt.

Da ich nur 2x ein Mini PC habe, kann ich auch nur max 2x eine interne SSD anschließen.

 

[Dunuin]

Voraussetzung für das live Backup ist doch immer noch ein 3 PVEs...

Nein. Weder für Live Backup noch Live Restore brauchst du einen Cluster. Das würde auch alles mit nur einem einzigen PVE gehen.

Die Frage ist eben, ob sich das alles für den Heimgebrauch überhaupt lohnt.

Da musst du dich selbst fragen wie wichtig dir deine Daten und Dienste sind. Ich würde z.B. auch keinen PVE Node daheim ohne eine USV betreiben weil ich keine Lust auf defekte/verlorene Daten habe. Andere würden da garnicht erst auf die Idee kommen sich eine USV anzuschaffen die ordentlich Strom verschwendet und wo man regelmäßig die Bleiakkus wechseln muss. Nicht damit ich die Dienste weiter nutzen kann wenn der Strom ausfällt, sondern damit die Rechner wenige Minuten haben um automatisiert geregelt runterzufahren.
Das gleiche mit ECC RAM und Raid1. Mir kommt nichts mehr ohne ECC ins Haus nachdem mir defekter RAM über Wochen unbemerkt hunderte an GBs an Daten korrumpiert hat. Und ich habe hier einen ganzen Stapel von daheim weggestorbenen SSDs und HDDs (bestimmt 20 Stück inzwischen), dass ich wirklich nichts mehr ohne wenigstens Raid1 betreiben würde. Spart einfach so viel Arbeit und Datenverlust wenn mal wieder eine wegstirbt. Ja, da hat man zwar tägliche Backups für, aber dann ist ja trotzdem alles der Daten der letzte 24 Stunden weg und man sitzt einen Tag unnötig daran den Server komplett neu aufzusetzen (was viele viele Stunden dauert wenn man Wert auf Sicherheit legt...wenn es schnell geht macht man etwas falsch oder hat sich was zur Automatisierung gescriptet ).
3-2-1 Backup Strategie verfolgt auch kaum wer daheim, weil man dann ja alles an Storage mindestens 3 mal kaufen muss für seine 3 Kopien. Ich Habe da aber z.B. mal 10 Jahre an Fotos/Heimvideos endgültig verloren, weil mir da die Festplatte ausgefallen ist und dann leider auch die Backup-Festplatte bevor ich die Daten auf eine neue Disk zurückspielen konnte. Sowas, wie dass man ECC nutzen und multiple Backups aller Daten haben sollte, muss man meist erst selbst schmerzhaft lernen weil man sonst zu geizig/faul ist und sich denkt "Passiert mir schon nicht...", "Ging bisher auch ohne...", "Bin doch nur Privatanwender...", "Habe ich kein Geld für...", ....

 

[Frosch1000]

Nein. Weder für Live Backup noch Live Restore brauchst du einen Cluster. Das würde auch alles mit nur einem einzigen PVE gehen.

Du meinst die ganz normalen Backups der VM oder LXC?

Ich selbst sichere insgesamt 3x wichtige Bilder + einmal über eine Cloud (verschlüsselt). Somit sind denke ich, alle relevanten Daten gespeichert.

Das Problem sehe ich eher, beim wiederherstellen von z. B. OMV und Nextcloud, da der 2. Proxmox andere Laufwerke hat und somit ggf ich die Zuordnung dann noch anpassen muss.
Überlege, ob ich einfach 2 NC und 2OMV mit unterschiedlichen IPs betreibe.

 

[Dunuin]

Du meinst die ganz normalen Backups der VM oder LXC?

Ja, aber nur von VMs. Da wirfst du das Wiederherstellen einer VM vom PBS an und kannst die VM dann schon direkt nutzen, auch wenn die noch am Wiederherstellen ist und nicht komplett auf dem PVE liegt. Wenn die VM dann auf Blöcke zugreifen will die noch nicht wiederhergestellt sind streamt sich die VM diese dann quasi vom PBS.

 

[Dunuin]

Ich selbst sichere insgesamt 3x wichtige Bilder + einmal über eine Cloud (verschlüsselt). Somit sind denke ich, alle relevanten Daten gespeichert.

Das ist dann ja schonmal gut. Aber ohne ZFS/Ceph/btrfs + ECC RAM hast du dann trotzdem das Problem, dass du nicht weißt, ob die gebackuppten Daten überhaupt heil sind. Vielleicht ist eines von 1000 Fotos vor über einem Jahr durch Bit Rot oder Bit Flips kaputt gegangen und du hast jetzt 1 Jahr lang dieses defekte Bild gesichert und damit deine heilen alten Backups überschrieben, dass du da nun garkeine heile VErsion des Bildes mehr hast. Hast du kein Checksumming im RAM (ECC) und Dateisystem (ZFS), was aktiv nach solchen Fehlern sucht und die dann meldet oder sogar automatisch repariert dann fällt dir das ja erst auf wenn du mal wieder ALLE Fotos einmal durchblätterst und du dann merkst, dass da bei einem Bild die untere Bildhälfte einfach nur noch schwarz ist oder ein Video ab der Hälfte der Spielzeit stoppt und sich nicht mehr weiter abspielen lässt.
Und mal ehrlich...Fotos und Video möchte man zwar gut archiviert haben weil wichtige Erinnerungen und so...angucken tut man die aber nur selten und dann auch nie komplett.

 

[TErxleben]

Das ist dann ja schonmal gut. Aber ohne ZFS/Ceph/btrfs + ECC RAM hast du dann trotzdem das Problem, dass du nicht weißt, ob die gebackuppten Daten überhaupt heil sind. Vielleicht ist eines von 1000 Fotos vor über einem Jahr durch Bit Rot oder Bit Flips kaputt gegangen und du hast jetzt 1 Jahr lang dieses defekte Bild gesichert und damit deine heilen alten Backups überschrieben, dass du da nun garkeine heile VErsion des Bildes mehr hast. Hast du kein Checksumming im RAM (ECC) und Dateisystem (ZFS), was aktiv nach solchen Fehlern sucht und die dann meldet oder sogar automatisch repariert dann fällt dir das ja erst auf wenn du mal wieder ALLE Fotos einmal durchblätterst und du dann merkst, dass da bei einem Bild die untere Bildhälfte einfach nur noch schwarz ist oder ein Video ab der Hälfte der Spielzeit stoppt und sich nicht mehr weiter abspielen lässt.
Und mal ehrlich...Fotos und Video7flip möchte man zwar gut archiviert haben weil wichtige Erinnerungen und so...angucken tut man die aber nur selten und dann auch nie komplett.

Wenn ich das immer höre. Bit Rot/Flip rollen sich mir die Fußnägel auf. Ich bin seit 40J in der Branche unterwegs und konnte das noch NIE feststellen! Irgendwie die berühmte Spinne in der Yuccapalme. Eine ordentliche Sicherungsstrategie (Zeitraum/Menge) ist viel wichtiger als irgendwelche HW-Glaskugellesereinen!

 

[Dunuin]

Hab hier noch 3 defekte Non-ECC RAM-Riegel rumliegen, die je dutzende Bitflips pro Minute verursachen. Kann man sich in den Rechner stecken und dann mal eine beliebige Datei mehrfach hashen. Die Datei hat dann bei jedem Hashvorgang eine andere Prüfsumme.

 

[Falk R.]

Wenn ich das immer höre. Bit Rot/Flip rollen sich mir die Fußnägel auf. Ich bin seit 40J in der Branche unterwegs und konnte das noch NIE feststellen! Irgendwie die berühmte Spinne in der Yuccapalme. Eine ordentliche Sicherungsstrategie (Zeitraum/Menge) ist viel wichtiger als irgendwelche HW-Glaskugellesereinen!

Habe ich auch schon bei klassischen Raid Controllern gehabt, nachdem die Server nach einem Klimaausfall zu heiß geworden waren. Das merkt man erst ganz spät, wenn man keine Software hat, die ein Scrubbing durchführt und das feststellen kann. Leider sind die fehlerhaften Daten dann schon sehr lange so bebackupt worden. Daher mag ich auch Ceph, weil auch da fehlerhafte Daten erkannt werden.

 

[Azunai333]

Das merkt man erst ganz spät, wenn man keine Software hat, die ein Scrubbing durchführt und das feststellen kann.

Stimmt. Für wichtige Daten nehme ich jetzt immer ein Dateisystem, welches beim Schreiben Prüfsummen erzeugt und diese beim Lesen automatisch überprüft.
Die Prüfsummenüberprüfung in ZFS hat mir da bereits gute Dienste geleistet. Mal war nur ein Kabel zur Platte defekt, mal ein Netzteil.

Die Ironie ist: Ohne Prüfsummen-fähiges Dateisystem würde man diese Fehler nicht direkt bemerken, daher stempelt man das schnell als überflüssig ab.
Ab hier gilt dann die alte Weißheit beim Datenverlust: Man merkt erst, welchen Wert Daten haben, wenn man nicht mehr darauf zugreifen kann...

 

[Falk R.]

Stimmt. Für wichtige Daten nehme ich jetzt immer ein Dateisystem, welches beim Schreiben Prüfsummen erzeugt und diese beim Lesen automatisch überprüft.
Die Prüfsummenüberprüfung in ZFS hat mir da bereits gute Dienste geleistet. Mal war nur ein Kabel zur Platte defekt, mal ein Netzteil.

Die Ironie ist: Ohne Prüfsummen-fähiges Dateisystem würde man diese Fehler nicht direkt bemerken, daher stempelt man das schnell als überflüssig ab.
Ab hier gilt dann die alte Weißheit beim Datenverlust: Man merkt erst, welchen Wert Daten haben, wenn man nicht mehr darauf zugreifen kann...

P.S. du brauchst dafür nicht zwingend ein Dateisystem. Das ZFS Pooling sowie Ceph mit RBD bietet die Funktion auch für Block-Devices.

 

[fiona]

Zur Vollständigkeit halber/falls jemand in Zukunft auf den Thread stolpert, bezüglich der originalen Frage: wenn ZFS verwendet wird, gibt es auch das Tool pve-zsync für diesen Use-Case: https://pve.proxmox.com/wiki/PVE-zsync

 

[TErxleben]

Danke für den Hinweis auf pve-zsync. Hilft das aber hier?
In den von mir genannten 40J bin ich das letzte Mal über defekte Dateien auf Disketten/Bandlaufwerken gestolpert
Ich habe aber allerdings auch noch nie einen USB-stick 10J unberührt im Regal aufbewahrt.
Die berühmten wackligen bits sind in meinen Augen totaler Blödsinn.