PVE-zsync

[Haithabu84]

Hallo,

ich habe da mal ein paar Fragen zu PVE-zsync:

1. Kann man damit auch LXC Container "syncen"?
2. Muss auf den Servern ein ZFS-Parition bestehen?

Derzeit betreibe ich zwei Nodes mit etwa 4 Containern und 2 VMs (qcow2). Zwischen den beiden Servern besteht jeweils eine 10Gbit-Verbindung, die ich gern nutzen möchte. Beide Nodes sind gleich eingerichtet und besitzen identische Hardware.

Ich würde dieses Tool dazu verwenden wollen, auf dem zweiten Node meine Container und VMs zu syncen um ein Backup-System zu haben. Derzeit hantiere ich da mit einem selbstgeschriebenen Script, was Backups erzeugt und diese mit Rsync verschiebt, leider ziemlich unperformant.

Ist dies möglich?

Für Hilfe wäre ich sehr dankbar.

Gruß

 

[tom]

Siehe http://pve.proxmox.com/wiki/PVE-zsync

und ja, funktioniert auch mit containern aber natürlich nur, wenn auf beiden hosts ZFS verwendet wird.

 

[Haithabu84]

Ich hätte da mal eine Frage zur Installation-Vorgehensweise:

Meine beiden Nodes haben jeweils zwei SSDs und diese wurden bisher immer schon bei der Installation zu einem Raid1 zusammengefügt. Es wurden zwei Partitionen auf dem Raid-Device erstellt, einmal normales ext4 und ein zweite mit LVm für die VMs. Letztere wurde dann schon, während der Installation, bei /var/lib/vz eingebunden.
Dies habe ich jetzt mal versucht in einer Testumgebung, aber diesmal mit ZFS, aufzubauen. Problem hierbei - scheinbar muss man erst ein laufendes Proxmox haben und als letztes ZFS installieren, damit die richtigen Dateien für den richtigen Kernel gezogen werden. Bei der Installation von Proxmox wird doch der Kernel ausgetauscht. Richtig?

Wie würde der Best-Practice laufen?

 

[fireon]

Also ZFS ist in Proxmox fix enthalten. Kann man ja auch schon bei der Installation direkt mit ZFS erledigen. https://pve.proxmox.com/wiki/Storage:_ZFS
https://pve.proxmox.com/wiki/ZFS:_Tips_and_Tricks

 

[Haithabu84]

Also ZFS ist in Proxmox fix enthalten. Kann man ja auch schon bei der Installation direkt mit ZFS erledigen. https://pve.proxmox.com/wiki/Storage:_ZFS
https://pve.proxmox.com/wiki/ZFS:_Tips_and_Tricks

Ist diese Vorgehensweise so zu empfehlen? In der Bare-Metal-Installation kann zum Beispiel bei ZFS Raid1 nur zwei komplette Platten angeben. Ich habe es getestet und bin erstaunt das es so ad hoc funktioniert. Ich habe in verschiedenen Quellen gelesen, dass das Booten unter Linux mit ZFS derzeit nicht richtig funktioniert und man lieber die Finger davon lassen sollte.

 

[fireon]

Nein, ZFS ist stable und Enterprise. Aber nach Best Practice kann ich dir empfehlen das System auf 2 SSDs (z.B. Samsung EVO/PRO) zu installieren und für all deine Daten VMs... einen eigenen Pool(s) zu erstellen. Die Verwaltbarkeit ist leichter und der VMpool z.B. völlig ausgelastet ist, ist die Maschine auf der Verwaltung immer noch normal bedienbar.

 

[Haithabu84]

Nein, ZFS ist stable und Enterprise. Aber nach Best Practice kann ich dir empfehlen das System auf 2 SSDs (z.B. Samsung EVO/PRO) zu installieren und für all deine Daten VMs... einen eigenen Pool(s) zu erstellen. Die Verwaltbarkeit ist leichter und der VMpool z.B. völlig ausgelastet ist, ist die Maschine auf der Verwaltung immer noch normal bedienbar.

Genauso habe ich es vor und habe es mittlerweile per nested virtualization testen können. Ich habe einfach die Install-ISO genommen und in der Installation ein ZFS Raid1 mit beiden Platten (SSDs) gemacht. Nachdem Reboot wird einem ein ZFS-Pool unter Storage angezeigt. Auch der Grub-Install auf der zweiten Platte ging überraschenderweise völlig problemlos.

Gibt es in Kombination mit SSDs irgendwelche Probleme, wegen den vielen kleinen Schreibzugriffen?
Kann man ZFS später noch mit DRDB kombinieren, für Live-Migration?

 

[fireon]

DRBD hab ich selbst noch nicht gemacht. Aber was ich weis verwendet das sein eigenes Blockdevice. Du könntest aber "ZFS over ISCSI" verwenden. Hierfür benötigst du aber eine zentrale Storage. Ansonsten Ceph.

Bei SSDs gibt es meines achtens keine Probleme sofern du hochwertige kaufst. Für die Storage selbst verwende ich immer Enterprise SSDs. Für das System genügt die Samsung EVO.

 

[Haithabu84]

DRBD hab ich selbst noch nicht gemacht. Aber was ich weis verwendet das sein eigenes Blockdevice. Du könntest aber "ZFS over ISCSI" verwenden. Hierfür benötigst du aber eine zentrale Storage. Ansonsten Ceph.

Bei SSDs gibt es meines achtens keine Probleme sofern du hochwertige kaufst. Für die Storage selbst verwende ich immer Enterprise SSDs. Für das System genügt die Samsung EVO.

Ok. Danke.

Ein Storage oder Ceph kommen für mich nicht in Frage. Damit hole ich mir nur einen zusätzlichen Fehlerknoten in die Infrastruktur. Diesen müsste ich dann ebenfalls wieder Redudant betreiben und duplizieren, was einfach wieder immense Kosten mit sich bringt.

 

[fireon]

Ein Storage oder Ceph kommen für mich nicht in Frage. Damit hole ich mir nur einen zusätzlichen Fehlerknoten in die Infrastruktur. Diesen müsste ich dann ebenfalls wieder Redudant betreiben und duplizieren, was einfach wieder immense Kosten mit sich bringt.

Ja, das müsstest du wenn du es sauber machen möchtest.

With the Proxmox VE ZFS replication manager (pve-zsync) you can synchronize your virtual machine (virtual disks and VM configuration) or directory stored on ZFS between two servers. By synchronizing, you have a full copy of your virtual machine on the second host and you can start your virtual machines on the second server (in case of data loss on the first server).

Ist ja schon fast HA. Ich glaube ein manueller Start im Worst Case ist auch ok.

 

[fireon]

Nachtrag: Habe nun gestern das pve-zsync getestet. Bin begeistert!!! Die Effizienz kann sich sehen lassen. Getestet wurden zwei VMs und ein Dataset mit 250GB. Die Netzwerknadel stand bei 140mb/s an. Liegt wohl daran das beide Seiten komprimieren. Merken tut man da an den Maschinen nicht viel.

Quellmaschine CPU 12%, W/A 0.5-1.0, Load 3-4
Zielmaschine CPU 25% W/A 13, Load 3-4

Wenn ich das gleiche mit vdump und Backuppc sichere schaut das ganze anders aus:

Quellmaschine CPU 40% W/A 25-35, Load 4-5
Zielmaschine CPU alle Cores 100%, W/A 50-60, Load 6

Wirklich beeindruckend

 

[Haithabu84]

Nachtrag: Habe nun gestern das pve-zsync getestet. Bin begeistert!!! Die Effizienz kann sich sehen lassen. Getestet wurden zwei VMs und ein Dataset mit 250GB. Die Netzwerknadel stand bei 140mb/s an. Liegt wohl daran das beide Seiten komprimieren. Merken tut man da an den Maschinen nicht viel.

Quellmaschine CPU 12%, W/A 0.5-1.0, Load 3-4
Zielmaschine CPU 25% W/A 13, Load 3-4

Wenn ich das gleiche mit vdump und Backuppc sichere schaut das ganze anders aus:

Quellmaschine CPU 40% W/A 25-35, Load 4-5
Zielmaschine CPU alle Cores 100%, W/A 50-60, Load 6

Wirklich beeindruckend

Da habe ich wohl jemanden angesteckt.

Bin auch begeistert und werde es vermutlich produktiv einsetzen. Dank 10Gbit-Leitung zwischen beiden Nodes, kann ich da einige Maschinen drüber syncen... nur die SSDs sind dann der Flaschenhals.

Nochmal ne andere Frage, schon wieder: Gibt es für ZFS soetwas wie Email-Notifications im Falle das eine SSD ausfällt oder wenn das Raid degraded wurde? Bei mdadm war dies möglich. Wenn das System noch lief, wurde sofort eine Mail mit dem Status des Raids rausgeschickt. Ist dies auch bei ZFS irgendwie möglich?

Gruß

 

[fireon]

Nochmal ne andere Frage, schon wieder: Gibt es für ZFS soetwas wie Email-Notifications im Falle das eine SSD ausfällt oder wenn das Raid degraded wurde? Bei mdadm war dies möglich. Wenn das System noch lief, wurde sofort eine Mail mit dem Status des Raids rausgeschickt. Ist dies auch bei ZFS irgendwie möglich?

Ja natürlich.

/etc/zfs/zed.d/zed.rc