Proxmox Backup Server

[Phoenix85]

Kurze Frage:

Den PBS lieber auf das QNAP NAS im NFS Share installieren anstatt direkt lokal auf den Mini Server wo aktuell das Proxmox Server läuft?

Hätte ja den Vorteil solange die NAS da ist dass auch das PBS da wäre.

Oder lieber zweiten Mini Server und da PBS drauf?

Der Mini Server ist ein Beelink N100 S12 Pro mit 500 GB SSD und 16 GB RAM.

Auf das Proxmox sollen noch als LXC Pi-Hole und Pi-Hole Backup , Unbound , Home Assistant und eine Win11 VM mit Agent DVR mit 4 Full HD Kameras.

 

[Johannes S]

Kurze Frage:

Den PBS lieber auf das QNAP NAS im NFS Share installieren anstatt direkt lokal auf den Mini Server wo aktuell das Proxmox Server läuft?

Ja, dann funktioniert der PBS auch noch, wenn der eigentliche Server down ist.

Hätte ja den Vorteil solange die NAS da ist dass auch das PBS da wäre.

Exakt!

Oder lieber zweiten Mini Server und da PBS drauf?

Das wäre natürlich noch besser, um auch unabhängig vom NAS Zu sein. Oder den zweiten Mini als zweiten PBS zusätzlich zur NAS.

Man sollte sich dann aber auch noch Gedanken um ein offsite-Backup machen, falls die eigene Bude einen Wasserschaden o.ä. hat

 

[Phoenix85]

Mit Wasserschäden kennen wir uns leider sehr gut aus. Seit Umzug ins gebaute Haus im Juli 2023 sechs Wasserschäden gehabt.

Ist nicht der Beelink Overkill nur für das PBS?

Ich habe auf dem QNAP NAS 24 TB Storage.

Was könnte ich alternativ auf dem zweiten Beelink noch laufen lassen wenn ich da PBS installieren würde?

Ich habe den Beelink Mini S12 Pro genommen um quasi die zwei Pi-Holes , Unbound und AgentDVR von den vier Raspberry Pi 5 auf den Beelink zu migrieren. Danach könnte ich die vier Raspberry Pi5 für andere Dinge nutzen oder verkaufen.

Zweiter Beelink hätte sicherlich auch den Vorteil von High Availalibility.

 

[Johannes S]

Mit Wasserschäden kennen wir uns leider sehr gut aus. Seit Umzug ins gebaute Haus im Juli 2023 sechs Wasserschäden gehabt.

Ist nicht der Beelink Overkill nur für das PBS?

Kommt darauf an, wie man seine Prioritäten setzt. Wichtiger als einen zweiten PBS zusätzlich zur qnap oder dem PBS auf den Proxmox-Server finde ich ein offsite Backup, etwa über Inett ( https://pbs.inett.de/ ), tuxis.nl oder (so habe ich es gemacht) einen vserver bei netcup oder hetzner.

Ich habe auf dem QNAP NAS 24 TB Storage.

Welches qnas Modell hast du denn? Je nach Arbeitsspeicher würde ich mir da eine PBS VM (sofern möglich) installieren und es damit dann gut sein lassen.

Was könnte ich alternativ auf dem zweiten Beelink noch laufen lassen wenn ich da PBS installieren würde?

Ich habe den Beelink Mini S12 Pro genommen um quasi die zwei Pi-Holes , Unbound und AgentDVR von den vier Raspberry Pi 5 auf den Beelink zu migrieren. Danach könnte ich die vier Raspberry Pi5 für andere Dinge nutzen oder verkaufen.

Zweiter Beelink hätte sicherlich auch den Vorteil von High Availalibility.

Für High Availability würde ich dann eher einen Cluster aus den beiden Beelinks mit ZFS Storage Replication bauen und einen der PIs als Qdevice nehmen

 

[Phoenix85]

Hi,

NAS ist QNAP TS-873A mit 24 GB Speicher und 24 TB Storage im RAID6.

Es gibt eine Container Station und Virtulization auf der NAS.

Das Inett ist die Möglichkeit von meinem Proxmox lokal alle VM‘s , Container und Config auf einen Proxmox Cloud Server als Offsite Backup zu sichern?

Richtig verstanden?

Und zweite Verständnis Frage

Zweiter Beelink könnte ich als Node für Proxmox verwenden und im Fall des Falles alles vom Datacenter Proxmox rüber migrieren auf den Node und entsprechend mit den Gerätschäften weiter arbeiten?

Und ein Qdevice ist das Quorum Device?

Ich bin sehr neu im Proxmox Thema.

Gestern damit angefangen.

Vielen Dank

 

[Johannes S]

NAS ist QNAP TS-873A mit 24 GB Speicher und 24 TB Storage im RAID6.
Es gibt eine Container Station und Virtulization auf der NAS.

Das klingt gut, dann würde ich mal versuchsweise eine PBS vm einrichten und gucken, ob die Performance für dich passt. Wenn nicht, können wir immer noch gucken, wie wir das mit NFS zum Laufen kriegen (auch wenn ich davon wirklich, wirklich, wirklich die Finger lassen würde).

Eine andere Variante könnte sein, dass du dir PBS als VM oder parallel zu PVE installierst, damit du auch einzelne Dateien zurücksichern kannst und mehr Backups vorhalten kannst als mit den nativen vzdumps. Zusätzlich dann vzdumps auf die NAS (bei 24 TB ist ja mehr als genug Platz dafür da ), das können dann ja auch weniger sein (z.B. tägliche Dumps auf den PBS plus manuelle nach Bedarf plus wöchentliche vzdumps auf der NAS).

Das Inett ist die Möglichkeit von meinem Proxmox lokal alle VM‘s , Container und Config auf einen Proxmox Cloud Server als Offsite Backup zu sichern?

Genau, Inett, tuxis.nl (gibt noch mehr) sind Firmen, die das quasi als Cloud anbieten. Man kann das natürlich auch (so mache ich es) sich selbst auf einen Cloudserver einrichten, aber dann muss man sich halt auch darum kümmern. Das wird einen bei einen Cloud-PBS erspart.

Zweiter Beelink könnte ich als Node für Proxmox verwenden und im Fall des Falles alles vom Datacenter Proxmox rüber migrieren auf den Node und entsprechend mit den Gerätschäften weiter arbeiten?

Genau, allerdings bringt ein Cluster auch wieder eigene Probleme mit sich, die man mit single-nodes nicht hat. Bei der Storage Replication mit ZFS ist halt zu bedenken, dass die Daten nicht ganz synchron sind, man hat im Fehlerfall dann immer einen Datenverlust (halt alles was seit dem letzten Sync dazugekommen wäre):
https://pve.proxmox.com/wiki/Storage_Replication

Der Standardwert liegt bei 15 Minuten, man kann ihn aber nach oben (mehrere Stunden) und unten (1 Minute) anpassen. Bei einen DNS-Cache wie pihole stört es mich jetzt nicht, wenn da der Stand der letzten Stunde fehlt, bei einer Datenbank dagegen schon. Falls auch die eine Minute nicht tragbar ist, könntest du auch einen NFS-Ordner auf der NAS als shared storage anbinden und mit qcow2-Images arbeiten. Dafür musst du dann halt schauen, ob die Performance übers Netzwerk dir ausreicht.

Eine andere Option wäre die beiden Knoten wie sie sind zu lassen, prinzipiell erlaubt PVE auch eine Migration zwischen verschiedenen Clustern (auch single-node-Clustern), aktuell aber nur über die Konsole. Die GUI-Variante ist gerade im Alpha-Test: https://forum.proxmox.com/threads/proxmox-datacenter-manager-first-alpha-release.159323/


Mit PVE-zsync kann auch da eine automatische Synchronisierung eingerichtet werden, man muss dann aber im Fehlerfall die VMs/Container von Hand starten, bei High Availability im Cluster passiert das automatisch:
https://pve.proxmox.com/wiki/PVE-zsync

Und ein Qdevice ist das Quorum Device?

Ja: https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

 

[Phoenix85]

Morgen kommt der zweite Beelink.

Habe nun meine beiden Raspberry Pi 5 für Pi-Hole abgeschaltet da nun auf dem Proxmox lokalen Storage virtualisiert. Bin gerade dabei Win 11 für die Kameras als VM auszurollen.

 

[Phoenix85]

Gibt es einen guten Guide wie man 2x Intel NUC nutzt für Proxmox und dann das Raspberry Pi5 für Quorum?

 

[Phoenix85]

Zweiter Beelink ist eingerichtet. Überlege aktuell noch ob dritter Beelink für den 3 Node Cluster oder doch Raspberry Pi 5.

Parallel richte ich gerade zu Testzwecken einen PBS auf dem QNAP NAS an. Bin gespannt was da die Performance angeht.

Wie ist das bzgl. RAM und CPU in einem 3 Node Cluster? Er greift nur auf die CPU und RAM vom Main Node zu oder?

Beispiel:

Der Main Node hat 4 Kerne und 32 GB RAM dann eben auf die Werte.

Es ist somit egal was auf Node2 und Node3 an Kerne und RAM zur Verfügung steht … korrekt?

Oder habe ich da einen Denkfehler?

 

[magicpeter]

Zweiter Beelink ist eingerichtet. Überlege aktuell noch ob dritter Beelink für den 3 Node Cluster oder doch Raspberry Pi 5.

Parallel richte ich gerade zu Testzwecken einen PBS auf dem QNAP NAS an. Bin gespannt was da die Performance angeht.

Wie ist das bzgl. RAM und CPU in einem 3 Node Cluster? Er greift nur auf die CPU und RAM vom Main Node zu oder?

Jeder Node ist ein ein vollwertige Rechner der seine Kraft (CPU, RAM, HDD, SSD, etc.) zur Verfügung stellt.
Du kannst die VMs und Container auf jedem beleidigen Node betreiben.
Du musst dir nur eine Konzept für den Disasterfall überlegen.
Wenn ein Node ausfällt sollten die anderen Nodes die VMs des ausgefallen Node übernehmen.
Darum repliziert man die VMs auch in einem Cluster auf die anderen Nodes.
Ich setze oft bei kleineren Firmen 2 oder 3 Node Cluster ein.
Alle Nodes sollten die gleiche Ausstattung haben, damit Sie die Last des anderen Node auch übernehmen können.

In deinem Fall würde ich sogar nur mit einem 2 Node Cluster und einem QDevice/PVE auf der NAS arbeiten.
Node 1 ist der ProduktiNode und Node 2 ist der BackupNode und die NAS mit dem PVE ist nur das Quorum.
Also der Entscheider bei einem Ausfall der anderen Nodes.
Auf die NAS kannst du ja auch noch den PBS einrichten und hast dann eine gute und günstige Lösung.
Der Node 1 hält alle VMs / Daten und repliziert diese auf Node 2 und sichert weiter alle X Stunden auf die NAS.
Abends oder mehrfach am Tag machst du dann noch eine Sicherung in die Cloud per inett (Cloud PBS Anbieter)

Beispiel:

Der Main Node hat 4 Kerne und 32 GB RAM dann eben auf die Werte.

Es ist somit egal was auf Node2 und Node3 an Kerne und RAM zur Verfügung steht … korrekt?

Oder habe ich da einen Denkfehler?

Es kommt immer darauf an was du mit dem Cluster erreichen willst.
Nur Absicherung oder auch Lastenverteilung.
Jeder Node muss entsprechend seiner Aufgabe ausgestattet sein.
Ein 3 Node Cluster mit einem Produktiv und einen Backup Node sollten die beiden Nodes gleich ausgestattet sein.
Wenn der 3. Node nur als PBS laufen soll kann dieser natürlich anders ausgestattet sein. Da er ja nicht die VM betreiben, sondern nur sicher muss.

 

[Phoenix85]

Heißt also auf der QNAP NAS neben der VM für PBS auch eine für PVE einrichten?

Beim Clustering dann nur Node1 und Node 2 angeben? Oder auch die VM auf der NAS mit PVE?

Die PBS VM läuft schon auf der NAS.

 

[magicpeter]

Heißt also auf der QNAP NAS neben der VM für PBS auch eine für PVE einrichten?

Nein, es gibt die Möglichkeit das OS der NAS gegen PVE auszutauschen und dann darauf PBS laufen zu lassen.
Oder du kannst auch PBS native ohne QNAP OS laufen lassen.
Ich würde jetzt erst mal schauen ob die NAS mit PBS als VM für dich läuft. Performance, etc..

Proxmox Backup Server auf einem 2-Bay NAS System
https://www.youtube.com/watch?v=VG7g0KWWIXQ&t=2s

Beim Clustering dann nur Node1 und Node 2 angeben? Oder auch die VM auf der NAS mit PVE?

Die PBS VM läuft schon auf der NAS.

Wenn du das OS der NAS behält und PBS als VM fährst, dann kannst du PVE nicht mehr installieren.
Dann muss du entweder in der VM von PBS noch corosync / QDevice einrichten oder besser eine weitere kleine VM mit Debian und dann dort corosync / QDevice einrichten.

Hier wird alles ganz gut erklärt.

Proxmox Cluster aus 2 Nodes erstellen - Teil 3 Step-by-Step Proxmox HA Cluster
https://www.youtube.com/watch?v=im4URPtI_tE

Proxmox VE Cluster Quorum Device einrichten
https://blog.ordix.de/two-node-cluster-mit-proxmox-einrichten


Das QDevice
Ein QDevice ist ein Service, der im Cluster nur die Funktion hat, eine „externe“ Stimme bereitzustellen, um das nötige Quorum aufrechtzuerhalten. Proxmox VE verwendet hier die QDevice Net Implementierung, die aus einem QNet-Daemon und QDevice-Clients besteht. Die QDevice-Clients werden auf den Cluster-Nodes installiert, der QNet-Daemon auf einem externen System. Einzige Voraussetzung ist, dass das System eine dauerhafte Netzwerkverbindung zum Cluster hat. Das kann dann z. B. auch ein ressourcenschonender Raspberry Pi sein. Des Weiteren wird die Installation nur in Clustern mit einer geraden Anzahl an Nodes empfohlen, bei einer ungeraden Anzahl ist es zum einen gar nicht nötig, zum anderen kann es dann zu unschönen Nebenwirkungen kommen (siehe https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support).

 

[Phoenix85]

So der PBS läuft nun und macht erfolgreiche Backups auf die NAS.

Node 1 und Node 2 sind im Cluster und bereite gerade das QDevice vor.

Danke erstmal soweit.