[SOLVED] Beste Konfiguration für Backup der PVE-VMs durch PBS nach Synology NFS Speicher

[mss666]

Grüß euch!
Das ist mein erster Beitrag in diesem Forum. Ich werde aus den bisherigen Einträgen einfach nicht schlau und wollte mal Nachfragen ob jemand für meine Fragen Hilfestellungen hat.

Meine Konfiguration ist folgende, auch wenn das nicht der empfehlenswerteste Ansatz ist. Man muss dazu sagen: Es ist für dein Heimgebrauch.
Ich betreibe folgendes:

A) Proxmox VE
32 GB Ram, AMD Ryzen 5
1TB M.2 SSD (ZFS Dateisystem) für VM-Disks und CT-Volumes
6TB NAS HDD (ZFS Dateisystem) für NAS Daten vom OMV
Auf diesem Server werden unter anderem Server/Dienste wie folgt betrieben:
OpenHAB (CT)
Unifi (CT)
pfSense (VM, ext4)
Docker (VM, ext4)
OpenMediaVault (VM, ext4)
Proxmox Backup Server (VM, ext4)

B) Synology Diskstation
7,4TB im RAID (ext4)

Ziel ist es, dass der virtualisierte PBS täglich ein Backup meiner VMs inkl. der Daten des OMV auf der Synology erstellt.
Dazu würde ich einen Share auf der Synology erstellen und per NFS freigeben.
Diesen NFS Share würde ich dann in PVE als Storage anlegen und in der PBS-VM eine HardDisk mit 7TB auf dem NFS Storage (Diskstation) erstellen.
Diese würde ich dann in PBS als Storage mit ext4 formatieren.

Meine Fragen:

1.) Welche Konfiguration empfehlt ihr für die HardDisk die ich dem PBS zur Verfügung stelle?
Bus/Device: SCSI oder VirtIO Block?
Format: QEMU (qcow2) oder RAW?

2.) Selbige Frage stellt sich für mich generell für alle VMs die ich angelegt habe.
Wann und für welchen Zweck oder welches System eignet sich welches Bus/Device und welches Image-Format am besten?

Vielen Dank.
Liebe Grüße
Max

 

[Dunuin]

Wenn du ZFS nutzt hast du automatisch RAW. Qcow2 ist z.B. für LVM und ähnliches.
Mit VirtIO Block kannst du glaube ich kein Discard/TRIM benutzen. Wenn du also Thin Provisioning oder SSDs nutzen willst solltest du VirtIO SCSI nehmen.

ZFS mit nur einer SSD/HDD ist übrigens nicht so sinnvoll denn ZFS wurde dazu konzipiert mehrere oder sogar dutzende von Laufwerke zu benutzen. ZFS macht da ordentlich overhead und ohne Raid kannst du viele Features die ZFS so sicher machen nicht nutzen. Ohne Raid hast du weder eine Ausfallsicherheit noch kann sich das Dateisystem selbst reparieren. ZFS erkennt dann zwar Fehler aber kann nichts gegen diese machen. Da würde ich dann lieber LVM thin nehmen, dann lebt die SSD auch länger. Außer natürlich du brauchst ZFS für so Dinge wie Replikation. Snapshots würden auch mit LVM thin + qcow2 gehen.

 

[UdoB]

Diesen NFS Share würde ich dann in PVE als Storage anlegen und in der PBS-VM eine HardDisk mit 7TB auf dem NFS Storage (Diskstation) erstellen.

Darf ich eine ergänzende Frage stellen?

Was wäre der Nachteil, wenn man den NFS-Storage einfach direkt innerhalb der PBS-VM mounted (und sich so den Umweg über die große Containerdatei und einem zweiten Filesystem spart)?

Wenig überraschend: so mache ich das bisher. Ich lasse mich aber gerne auf Nachteile hinweisen.

Viele Grüße

 

[pakuzaz]

Bei nfs und PBS gibt es aktuell das Problem das man die Backup nicht löschen kann da die lock Datei irgendwas macht was sie nicht soll

 

[UdoB]

Bei nfs und PBS gibt es aktuell das Problem das man die Backup nicht löschen kann da die lock Datei irgendwas macht was sie nicht soll

Oh! ... Bei mir scheint das manuelle Löschen per Web und auch das "maxfiles=" per Client zu funktionieren. Das hierarchische "keep-x =" funktioniert auch bei mir tatsächlich nicht.

Danke für den Hinweis!

 

[mss666]

ZFS mit nur einer SSD/HDD ist übrigens nicht so sinnvoll denn ZFS wurde dazu konzipiert mehrere oder sogar dutzende von Laufwerke zu benutzen. ZFS macht da ordentlich overhead und ohne Raid kannst du viele Features die ZFS so sicher machen nicht nutzen. Ohne Raid hast du weder eine Ausfallsicherheit noch kann sich das Dateisystem selbst reparieren. ZFS erkennt dann zwar Fehler aber kann nichts gegen diese machen. Da würde ich dann lieber LVM thin nehmen, dann lebt die SSD auch länger. Außer natürlich du brauchst ZFS für so Dinge wie Replikation. Snapshots würden auch mit LVM thin + qcow2 gehen.

Danke für den Hinweis. Das habe ich auch schon gelesen und war mir bewusst. Ich habe mich für zfs entschieden, da ich den Eindruck hatte damit das Dateisystem einfacher verwalten zu können und mit Snapshots, vor allem in Bezug auf Backup oder Tests und schelles Rollback, mir viel Ärger erspare. Natürlich zu Lasten des RAMs. Ist LVM thin in Bezug auf schnelle Snapshots, Backups, Größenänderung von Volumes, TRIM/Discard und Geschwindigkeit mit ZFS gleich auf? Dann wäre es auf jeden Fall sinnvoll das umzustellen.

Was wäre der Nachteil, wenn man den NFS-Storage einfach direkt innerhalb der PBS-VM mounted (und sich so den Umweg über die große Containerdatei und einem zweiten Filesystem spart)?

In der GUI ist mir nur möglich gewesen einen Storage auf einer Festplatte zu erstellen. Ich wusste nicht, dass das auch in einem Verzeichnis oder einem NFS Share funktioniert. Hast du das über das CLI gelöst? Ich sehe bei der Bereitstellung eines Volumes, welches auf einem NFS Share liegt folgende Vorteile: Verschlüsselung des Backups durch PVE möglich und die Backups sind in sich im Image geschlossen und vor versehentlichen Manipulationen am Storage geschützt.

Bei nfs und PBS gibt es aktuell das Problem das man die Backup nicht löschen kann da die lock Datei irgendwas macht was sie nicht soll

Oh! ... Bei mir scheint das manuelle Löschen per Web und auch das "maxfiles=" per Client zu funktionieren. Das hierarchische "keep-x =" funktioniert auch bei mir tatsächlich nicht.

Danke für den Hinweis!

Ich habe hier gleich wie @UdoB die Erfahrung gemacht, dass man Backups ohne weiteres in PVE oder am PBS löschen kann. Bei mir läuft NFS auf Version 4 und ich habe no_root_squash am NFS-Server gesetzt.

Kann mir jemand bezüglich meiner zwei Fragen weiterhelfen?

Meine Fragen:

1.) Welche Konfiguration empfehlt ihr für die HardDisk die ich dem PBS zur Verfügung stelle?
Bus/Device: SCSI oder VirtIO Block?
Format: QEMU (qcow2) oder RAW?

2.) Selbige Frage stellt sich für mich generell für alle VMs die ich angelegt habe.
Wann und für welchen Zweck oder welches System eignet sich welches Bus/Device und welches Image-Format am besten?

Danke euch.
Liebe Grüße
Max

 

[Dunuin]

Danke für den Hinweis. Das habe ich auch schon gelesen und war mir bewusst. Ich habe mich für zfs entschieden, da ich den Eindruck hatte damit das Dateisystem einfacher verwalten zu können und mit Snapshots, vor allem in Bezug auf Backup oder Tests und schelles Rollback, mir viel Ärger erspare. Natürlich zu Lasten des RAMs. Ist LVM thin in Bezug auf schnelle Snapshots, Backups, Größenänderung von Volumes, TRIM/Discard und Geschwindigkeit mit ZFS gleich auf? Dann wäre es auf jeden Fall sinnvoll das umzustellen.

Mit LVM kannst du auch später deine Volumes verändern und qcow2 hat bei Snapshots einige Vorteile. Bei ZFS kannst du z.B nur zum letzten Snapshot zurückrollen und bei qcow2 zu allen, soweit ich weiß. Bei Geschwindigkeit weiß ich gerade nicht, aber ich würd vermuten LVM wäre eher besser, da es weniger komplex ist.

 

[mss666]

Mit LVM kannst du auch später deine Volumes verändern und qcow2 hat bei Snapshots einige Vorteile. Bei ZFS kannst du z.B nur zum letzten Snapshot zurückrollen und bei qcow2 zu allen, soweit ich weiß. Bei Geschwindigkeit weiß ich gerade nicht, aber ich würd vermuten LVM wäre eher besser, da es weniger komplex ist.

Mal angenommen ich würde das umstellen wollen. Dann müsste ich PVE nochmal neu installieren und die VMs und Container aus den Backups wiederherstellen. Ich habe noch keine Lösung um PVE selbst zu sichern und wiederherzustellen. Meine Idee dazu war alles unter /etc/pve täglich mit rsync auf die Synology zu sichern und nach einen crash PVE neu zu installieren und /etc/pve wiederherzustellen. Danach alle VMs aus den Backups wiederherstellen. Habt ihr da schon praktische Lösungen?

 

[angelkiller]

Du kannst auch auf der Disk Station einen virtuellen PBS einrichten. Diesem PBS gibst Du eine virtuelle 7TB HDD auf der Synology. Dann musst Du nicht per NFS oder so sharen, was aktuell nur zu Fehlern führt. So mache ich es zumindest mit einem FreeNAS Scale was außerhalb meiner Server Location steht. Das FreeNAS startet zu gegebener Zeit, fährt den virtuellen PBS hoch. 10 Minuten später habe ich Backup Jobs die beginnen.
Aktuell arbeite ich gerade an einem Script, was nach erfolgreichem Backup per SSH den virtuellen PBS und dann das FreeNAS System runterfährt.

 

[mss666]

Du kannst auch auf der Disk Station einen virtuellen PBS einrichten. Diesem PBS gibst Du eine virtuelle 7TB HDD auf der Synology. Dann musst Du nicht per NFS oder so sharen, was aktuell nur zu Fehlern führt. So mache ich es zumindest mit einem FreeNAS Scale was außerhalb meiner Server Location steht. Das FreeNAS startet zu gegebener Zeit, fährt den virtuellen PBS hoch. 10 Minuten später habe ich Backup Jobs die beginnen.
Aktuell arbeite ich gerade an einem Script, was nach erfolgreichem Backup per SSH den virtuellen PBS und dann das FreeNAS System runterfährt.

Danke für dein Input. Hast du den virtuellen PBS auf der Synology in einem Docker-Container? Wenn ja, hast du ein bestehendes Docker-Image verwendet oder selbst gebaut? Dazu wäre das Dockerfile interessant.

 

[Dunuin]

Wenn du PBS nutzen willst macht glaube ich auch wieder ZFS mehr Sinn. Ich glaube ohne ZFS kann da PBS keine inkrementellen Backups machen, da das dann wieder auf den ZFS Snapshots und Replikation basiert.

 

[UdoB]

Ich wusste nicht, dass das auch in einem Verzeichnis oder einem NFS Share funktioniert. Hast du das über das CLI gelöst?

Ja. In meiner /etc/fstab habe ich folgendes manuell eingetragen:

10.3.110.100:/volume5/proxmox/pbsb      /srv/dsa        nfs     _netdev,noatime 0       0

...und dann im Webgui diesen mountpoint als "Backing path" via "Add datastore" hinzugefügt. Auf die Spezifikation von Zugriffsrechten habe ich an dieser Stelle verzichtet, das ist bei mir ein separates Netz ohne weitere Maschinen oder Nutzer.

 

[mss666]

Wenn du PBS nutzen willst macht glaube ich auch wieder ZFS mehr Sinn. Ich glaube ohne ZFS kann da PBS keine inkrementellen Backups machen, da das dann wieder auf den ZFS Snapshots und Replikation basiert.

Du meintest ja oben, dass LVM-thin gleich wie ZFS Snapshots unterstützt und hier tlw. sogar besser ist. In der Doku von PVE wird LVM was die Storage Features betrifft gleich wie ZFS beschrieben.

Passend dazu habe ich folgenden Artikel gefunden: https://computingforgeeks.com/raid-vs-lvm-vs-zfs-comparison/
Da kommt man zu folgendem Schluss "It does what LVM and RAID do in one package."

Für mich stellt sich jetzt schon die nächste Frage. Bei ZFS muss man sich keine Gedanken mehr machen welches Dateisystem. Bei LVM muss ich ja in den logischen Volumes ja ein Dateisystem wie ext4 oder xfs festlegen. Habt ihr da Erfahrungen was sich hier besser eignet?

 

[Dunuin]

Du solltest da aber auch nochmal wegen qcow2 lesen. LVM selbst kann zwar auch Snapshots, aber wenn du nicht ZFS nutzt, dann werden die virtuellen Festplatten vom Typ qcow2 sein was wiederum ein eigenes Copy-On-Write Dateisystem ähnlich wie ZFS ist und selbst Features wie Snapshots mitbringt. Proxmox nutzt in dem Fall dann die Snapshot-Features von qcow2 und nicht von LVM.

Bei ZFS hast du:
"Physische Disks -> ZFS -> Zvols (RAW) -> virtio virtualisierung -> Dateisystem des Gastes"

Und bei LVM thin:
"Physische Disks -> LVM thin -> VG -> LV -> qcow2 -> virtio virtualisierung -> Dateisystem des Gastes"

Ext4 und xfs sollten beide ohne Probleme laufen. Ext4 ist halt der Linux-Standard und läuft so ziemlich mit allem. Xfs wurde später für Geschwindigkeit und SDDs entwickelt und ist oft ein Tick schneller. Musst du dir sonst mal die Vor- und Nachteile von beiden angucken.
Aber für den normalen Betrieb sollten beide gut laufen.

 

[angelkiller]

Danke für dein Input. Hast du den virtuellen PBS auf der Synology in einem Docker-Container? Wenn ja, hast du ein bestehendes Docker-Image verwendet oder selbst gebaut? Dazu wäre das Dockerfile interessant.

Wie ich geschrieben habe, habe ich das auf einem FreeNAS Scale gemacht. FreeNAS Scale ist das Debian basierte FreeNAS welches FreeBSD benutzt. Weil FreeNAS Scale Debian basiert ist, wird dort virtualisierung mittels KVM möglich. Somit ist mein virtueller PBS auf dem FreeNAS Scale eine echte virtuelle VM und kein Container.
Soweit ich weiß, können die Synologys auch virtuelle Maschinen hosten. Kommt immer auf das verwendete Model an ob da eine X86 CPU drin ist.