Proxmox Backup Server unter VE oder auf dem NAS installieren?

[GMBauer]

• Gerne z.B. ThinkCentre oder Optiplex 8060 im MicroSFF-Format.
• Ein Host ist der Stammhost einer PBS-VM, die komplett auf einer externen USB-Platte installiert ist.
• Alle anderen sind so vorbereitet, das es reicht den "PBS" ggf. umzustecken und dort zu starten.
• Auf diesem werden dann die ausgefallenen VMs restored
• I.d.R. ist es gar nicht nötig umzustöpseln. Letzteres ist nur ein weiterer Pfeil im Köcher.
• Wo es Preis/Leistungsmässig passt, verwenden wir natürlich externe USB-SSDs
• Dieses P/L-Verhältnis ist ab 4TB eben eher mau.
• Sollte eine Kiste ausfallen, kommt sie eben in die Post.
• So ist des Gehäuse des PBS halt eine externe Disk und kann instant an diversen Hosts betrieben werden.

Das ist ja mal geil. Das ist ein für mich komplett neuer Ansatz. Wenn ich sowas früher vorgeschlagen hätte bei FuSie, hätten sie mich geköpft. Und gehäutet und gevierteilt vorher...

Sowas muss ich mal aufbauen. Empfehlung für die externen USB-SSDs? Normale SATAs im Gehäuse oder "integrierte" oder "M.2"s?

 

[GMBauer]

Meiner Erfahrung nach ist PBS auf HDDs mehr als brauchbar, vor allem seit atimes neuerdings gecached werden. Siehe https://pbs.proxmox.com/wiki/index.php/Roadmap#Proxmox_Backup_Server_3.4
Allerdings kann ich sehr empfehlen, ein filesystem zu nutzen was metadaten auf einer SSD speichern kann. ZFS kann das soweit ich weiß und bei XFS mit separatem logdevice hat es bei mir auch geklappt.
Ich habe ~3TB Daten(900k chunks) in ~200 Backups auf 2x22T HDDs in RAID 1, garbage collect braucht 6 Sekunden. Backups und Restores sind durch das Netzwerk(1 Gigabit) begrenzt, dazu kann ich also nichts sagen.

Sorry, kurze Nachfrage: 3 TB Nutzdaten werden als Backups zu irgendwas, für das man 22 TB braucht? Ui...

 

[thesupremegod]

Sorry, kurze Nachfrage: 3 TB Nutzdaten werden als Backups zu irgendwas, für das man 22 TB braucht? Ui...

Vorher haben wir die Backups mit tar(incremental) gemacht, das waren bei 6 Monaten so ca. 15TB. Daher hatten wir die großen Platten schon, PBS nutzen wir erst seit kurzem. Wachstum ist so ~40GB/Tag für 10 Server also werden wir vielleicht bei so 10TB ankommen in ein paar Monaten, viel kleinere Platten gibts bei hetzner aber auch gar nicht

 

[TErxleben]

Das ist ja mal geil. Das ist ein für mich komplett neuer Ansatz. Wenn ich sowas früher vorgeschlagen hätte bei FuSie, hätten sie mich geköpft. Und gehäutet und gevierteilt vorher...

Sowas muss ich mal aufbauen. Empfehlung für die externen USB-SSDs? Normale SATAs im Gehäuse oder "integrierte" oder "M.2"s?

NVMe ist inzwischen ja die vorherrschende, modernste und schnellste Technik. Preislich macht es auch kaum einen Unterschied. Die meisten Gehäuse für 2280er kühlen auch recht gut. Im Zweifel hast du einen überlangen USB-Stick am Gehäuse, bei dem du ohne Zwischenkabel nur aufpassen musst ihn beim Hantieren nicht abzubrechen. Ob die versprochene NVMe-Mehrleistung im Realbetrieb durchschlägt, habe ich noch nie gemessen.
Ich komme ja sogar mit archaischen Drehkörpern klar

 

[GMBauer]

Ich komme ja sogar mit archaischen Drehkörpern klar

Ah, ein Bajoraner...

 

[TErxleben]

Ah, ein Bajoraner...

Wo bleibt bloß "Der Cisco"?

 

[TErxleben]

Das Ideen, bei der Bank mit angeschlossener Technikabteilung zu Irritationen führt(e), wenn jemand eine BWL-abweichende Idee postuliert, kann ich mir lebhaft vorstellen. Schließlich macht man in lukrativen Großkraftwerken.
Ich habe lange für LH-Technik gearbeitet. Da war es schon immer Katzenkampf, wenn der HA-Leiter WT mit dem Leiter WG nicht grün war. Aber wie ein Kleinkind infantil mit der Krawatte wedeln...

 

[magicpeter]

Moin,
ich habe beides schon mehre Male gemacht. Für mich die bessere Lösung ist auf der NAS und zwar nur auf der NAS.
NAS OS weg und PBS drauf und fertig ist der Spaß.

Habe jetzt UGREEN 2800 NAS mit 2 x M.2 NVMe ausgestattet. Einmal 250 GB für PBS und 1 TB für die Backups.
Is nur ein Testsystem. Habe also noch 2 HDD Slots frei.

1. Ich habe einmal die NAS mit UGREEN eingerichtet
2. PBS ISO runtergeladen und Bootstick erstellt und in die NAS gesteckt
3. Bildschirm und Tastatur/ Maus anschlossen, Netzwerk verbunden
4. NAS neugestartet und dann mit Strg + F2 ins Bios, dort Watchdog deaktiviert und die intere SSD aus dem Bootvorgang genommen und den USB-Stick als erstes Bootdevice gesetzt
5. NAS mit Bootstick und PBS gestartet und PBS auf der 250 GB M.2 NVMe eingerichtet
6. PBS eingerichtet und mit dem PVE verbunden.

Läuft super. Dank M.2 NVMe auch super schnell.

Hier das Einrichutngsvideo dazu.
Proxmox Backup Server auf einem 2-Bay NAS System
https://www.youtube.com/watch?v=VG7g0KWWIXQ

Ihr habe damit ein System was unabhängig eurem Node und von euerem VE ist.

Raucht der Node oder die VM ab, könnt ihr euch die NAS nehmen und davon alles wieder herstellen.

Einfacher geht es fast nicht.

 

[TErxleben]

Moin,
ich habe beides schon mehre Male gemacht. Für mich die bessere Lösung ist auf der NAS und zwar nur auf der NAS.
NAS OS weg und PBS drauf und fertig ist der Spaß.

Habe jetzt UGREEN 2800 NAS mit 2 x M.2 NVMe ausgestattet. Einmal 250 GB für PBS und 1 TB für die Backups.
Is nur ein Testsystem. Habe also noch 2 HDD Slots frei.

1. Ich habe einmal die NAS mit UGREEN eingerichtet
2. PBS ISO runtergeladen und Bootstick erstellt und in die NAS gesteckt
3. Bildschirm und Tastatur/ Maus anschlossen, Netzwerk verbunden
4. NAS neugestartet und dann mit Strg + F2 ins Bios, dort Watchdog deaktiviert und die intere SSD aus dem Bootvorgang genommen und den USB-Stick als erstes Bootdevice gesetzt
5. NAS mit Bootstick und PBS gestartet und PBS auf der 250 GB M.2 NVMe eingerichtet
6. PBS eingerichtet und mit dem PVE verbunden.

Läuft super. Dank M.2 NVMe auch super schnell.

Hier das Einrichutngsvideo dazu.
Proxmox Backup Server auf einem 2-Bay NAS System
https://www.youtube.com/watch?v=VG7g0KWWIXQ

Ihr habe damit ein System was unabhängig eurem Node und von euerem VE ist.

Raucht der Node oder die VM ab, könnt ihr euch die NAS nehmen und davon alles wieder herstellen.

Einfacher geht es fast nicht.

Kann man natürlich so machen. Allerdings hast du mit der Lösung einen fetten SPOF an Bord. Fällt an dem UGREEN-Ding irgendwas aus, stehst du nackig da.
Mit der Lösung der externer PBS-VM auf USB-Speicher bist du hingegen xfach redundant aufgestellt. Jeder deiner PVE-Hosts kann den PBS in unter 60s zur Verfügung stellen. Nur wenn deine externe Platte den Geist aufgibt hast du ein Problem, sofern du diesen nicht regelmäßig automatisch irgendwohin klonst. Letzteres geht i.ü. sehr schnell. Du stoppst die PBS-VM und kopierst die zwei .qcow2 Files per rsync irgendwohin. Gerne sogar auf ein zweites externes -USB-Medium. Oder pullst sie von einem Offsitespeicher. Oder beides. Danach startest du die VM wieder. Außerdem bist du nicht auf ein evtl. lahmes Netzwerk angewiesen, sondern kannst von der USB-Geschwindigkeit profitieren. Wenn man das USB-Medium auf einem zweiten parat hält, kann man sogar den Offsite-Speicher in wirklich akzeptabler Geschwindigkeit bei Bedarf zurücksyncen, bevor man ihn postalisch zusenden muss.
Probiere das mal mit einem vereinsamten und relativ teurem NAS umzusetzen.

 

[magicpeter]

Ja, der eine macht es so und der andere wieder anders

Ich habe natürlich noch eine PBS-Offsite-Sicherung also in der Cloud mit dabei.

Ich nutze aktuell INETT PBS Cloud Backups.

Sehr einfach einzurichten und sehr kostengünstig.

Damit habe ich glaube ich eine ganz gute Onsite & Offsite Sicherung über den PBS realisiert.

Und nicht vergessen, es läuft alles automatisch. Kein mount / unmount eines Datenträgers.

Nicht vergessen, wenn dir die Bude abbrennt, dann brennt auch die USB-Platte

 

[TErxleben]

Ja, der eine macht es so und der andere wieder anders

Ich habe natürlich noch eine PBS-Offsite-Sicherung also in der Cloud mit dabei.

Ich nutze aktuell INETT PBS Cloud Backups.

Sehr einfach einzurichten und sehr kostengünstig.

Damit habe ich glaube ich eine ganz gute Onsite & Offsite Sicherung über den PBS realisiert.

Und nicht vergessen, es läuft alles automatisch. Kein mount / unmount eines Datenträgers.

Nicht vergessen, wenn dir die Bude abbrennt, dann brennt auch die USB-Platte

Wenns brennt bleibt das NAS übrig ? Eine PBS-VM kann ich über mehrer Platten rotieren und mindestens eine außer Haus aufbewahren. Bietet INETT denn die Möglichkeit dort VMs auf einen Datenträger zu ziehen und dir dann zuzusenden?
Ein paar Zeile Scriptcode sind natürlich nötig aber keinesfalls Hexenwerk.

 

[magicpeter]

Achja, ich habe natürlich, wenn ich das bei Kunden mache immer mindesten 2 Nodes im Einsatz.

Damit habe ich also eine Replication (alle 15 Minuten), eine OnsiteDatensicherung (jede Stunde) auf der NAS und eine OffsiteDatensicherung (einmal am Tag) in der Cloud.

Damit sollte wohl erst einmal alles gesichert sein.

Aber, es gibt natürlich auch immer andere Lösung die auch gut funktionieren.

Und es kommt auch immer auf die Anforderungen des Projekts an.

 

[TErxleben]

Mit zwei Nodes, die schlau positioniert sind, wird natürlich schon ein Schuh draus. Bleibt noch die Frage, wie du beim worst case in akzeptabler Zeit an die externen xTB kommst.

 

[magicpeter]

Wenns brennt bleibt das NAS übrig ? Eine PBS-VM kann ich über mehrer Platten rotieren und mindestens eine außer Haus aufbewahren. Bietet INETT denn die Möglichkeit dort VMs auf einen Datenträger zu ziehen und dir dann zuzusenden?
Ein paar Zeile Scriptcode sind natürlich nötig aber keinesfalls Hexenwerk.

Also bevor ich mir da so eine USB-Platte dranschraube würde ich besser eine zweite NAS in ein anderes Büro der eine andere Location aufstellen und diese per VPN-Tunnel verbinden und dann mit einem PBS Sync-Job die Daten syncronisieren.

Kein Geschleppe, keine 5 USB-Platten, alles vollautomatisiert.

Aber wie schon gesagt.

Jede Lösung hängt von der Anforderung des Projekts ab.

Und wenn du USB-Platten magst, dann mach es damit.

 

[magicpeter]

Mit zwei Nodes, die schlau positioniert sind, wird natürlich schon ein Schuh draus. Bleibt noch die Frage, wie du beim worst case in akzeptabler Zeit an die externen xTB kommst.

Es kommt immer auf die Anforderungen des Projekts an.

Die OffsiteSicherung ist ja nur der letzte Schritt für den Worst Case.

Wenn die Bude abgebrannt ist, dann haben die auch etwas Zeit die Daten wieder runterzuladen.

Sonst wird erst einmal ein Sicherungskonzept aufgrund der Anforderungen erstellt.

Darin ist alles genau festgelegt. Verfügbarkeit, Wiederherstellungszeiträume, usw.

Ich denke das würde uns jetzt hier auch zu weit führen ohne eine wirkliches Projekt mit den entsprechenden Anforderungen.

Ich sag einfach mal "Es lebe die USB-Platte", aber nicht vergessen die 80zier Jahre sind lange vorbei und es gibt andere Lösungen.

 

[Falk R.]

Ich unterscheide wie wohl jeder zwischen "Userdaten" und "App-Daten".
User-Daten sind alle Office-Dateien, alle CAD-Dateien, alle Druckdateien, etc. Und die sehe ich auf einem NAS bzw. auf einem SAN. Definitiv nicht in einer DC-VM. Diese Daten sichere ich über Funktionen des NAS auf ein anderes NAS und parallel in die Cloud.
App-Daten sind die Inhalte der Datenbanken etc., die in der VM mit den jeweiligen Anwendungen (SQL-Server etc.) lagern und aus Geschwindigkeitsgründen auch nur lokal vorgehalten Sinn machen. Und nur die werden mit ihren VMs mittels PBS gesichert.

Machen das nicht alle Leute so?

Nein, die Userdaten auf dem Fileserver sind oft auch kritisch, daher landet alles in VMs im HA Cluster und ALLE VMs werden auf den PBS gesichert.
Danach natürlich eine Offsite Kopie.

 

[Falk R.]

Wir haben einen ganzen Sack Kunden, die tw. sogar mehrere Flugstunden entfernt sitzen. Alle sind aus der Ferne voll administrierbar (IP-KVM, schaltbare Steckdosen). Daher arbeiten wir mit folgendem Konzept:

• Alle jeweils nötigen PVE-Hosts liegen in der gleichen Leistungsklasse.
• Diese bilden keinen Cluster
• Die Menge orientiert sich daran, den Ausfall eines kompletten Hosts ohne weiteres kompensieren zu können.
• Gerne z.B. ThinkCentre oder Optiplex 8060 im MicroSFF-Format.
• Ein Host ist der Stammhost einer PBS-VM, die komplett auf einer externen USB-Platte installiert ist.
• Alle anderen sind so vorbereitet, das es reicht den "PBS" ggf. umzustecken und dort zu starten.
• Auf diesem werden dann die ausgefallenen VMs restored
• I.d.R. ist es gar nicht nötig umzustöpseln. Letzteres ist nur ein weiterer Pfeil im Köcher.
• Wo es Preis/Leistungsmässig passt, verwenden wir natürlich externe USB-SSDs
• Dieses P/L-Verhältnis ist ab 4TB eben eher mau.
• Sollte eine Kiste ausfallen, kommt sie eben in die Post.
• So ist des Gehäuse des PBS halt eine externe Disk und kann instant an diversen Hosts betrieben werden.

Das klingt für ein Remote Konzept und kleinen Kunden als ein brauchbarer Weg.
Das skaliert nur nicht so gut wenn man mal eben 200-300 VMs hat, was im Mittelstand gar nicht so selten ist. Natürlich Branchenabhängig.

 

[TErxleben]

Es kommt immer auf die Anforderungen des Projekts an.

Die OffsiteSicherung ist ja nur der letzte Schritt für den Worst Case.

Wenn die Bude abgebrannt ist, dann haben die auch etwas Zeit die Daten wieder runterzuladen.

Sonst wird erst einmal ein Sicherungskonzept aufgrund der Anforderungen erstellt.

Darin ist alles genau festgelegt. Verfügbarkeit, Wiederherstellungszeiträume, usw.

Ich denke das würde uns jetzt hier auch zu weit führen ohne eine wirkliches Projekt mit den entsprechenden Anforderungen.

Ich sag einfach mal "Es lebe die USB-Platte", aber nicht vergessen die 80er Jahre sind lange vorbei und es gibt andere Lösungen.

Wenn es um Internetanbindungen geht, sind die 80er leider keinesfalls vorbei.
Auch Offline-Medien sind nun nicht so unmodern.

 

[Falk R.]

Wenn es um Internetanbindungen geht, sind die 80er leider keinesfalls vorbei.
Auch Offline-Medien sind nun nicht so unmodern.

Naja, Tape ist tatsächlich aus der Zeit gefallen für Backup, aber für Archive noch gut.
Das größte Problem bei externen Medien ist die Fehlerquelle: Layer8
Der Mensch, welcher die Platte wechseln muss, macht die häufigsten Störungen und Disks nie tauschen ist heutzutage auch ein no go. Die werden von Ransomwaregangs immer zuerst gelöscht.

 

[Falk R.]

Wenn es um Internetanbindungen geht, sind die 80er leider keinesfalls vorbei.
Auch Offline-Medien sind nun nicht so unmodern.

P.S. ich habe bei einem Kunden in Italien auch nur 2000er DSL, aber zum Glück ist der PBS Sync super effizient und die Backups sind trotzdem in 1-4 Stunden synchronisiert.