zfs und seine Vorteile

[hackmann]

Guten Abend,

meine Frage richtet sich nach den Vorteilen von ZFS unter Proxmox. ausser was das Raid angeht.
Ich lese immer wieder in Foren, wie schön dass zfs snapshots sind.

Aber nur in Verbindung mit einem weiteren Server.

 

[dietmar]

Es hat einfach viele feature die andere filesysteme nicht haben:

https://en.wikipedia.org/wiki/ZFS

Und ja, snapshots sind praktisch (immer).

 

[morph027]

Immer! Copy on Write Systeme wie ZFS helfen aktuell ganz gut gegen diverse fiese Cryptotrojaner, weil ein Snapshot immer schön Read Only ist....und erst mal nichts kostet. Kann man also ruhig mal stündlich oder öfter anlegen

Dazu brauchts auch keinen weiteren Server. Das senden der ZFS Datasets unter anderem via Netzwerk ist nur ein weiteres nützliches Feature.

Für mich steht ganz vorn bit-rot Schutz, snapshots und Performance (vor allem im Bezug auf P/L). Gib dem ZFS genügend RAM und das steckt einen 1000€ LSI Controller mit allen aktivierten Caches und BBUs in die Tasche.

 

[HBO]

Immer! Copy on Write Systeme wie ZFS helfen aktuell ganz gut gegen diverse fiese Cryptotrojaner, weil ein Snapshot immer schön Read Only ist....und erst mal nichts kostet. Kann man also ruhig mal stündlich oder öfter anlegen

Das mit dem Read Only ist zwar klar, aber nichts kostet? Speicherplatz? Oder ich hab das Snapshot System falsch verstanden.

 

[morph027]

Der Snapshot belegt nur den Platz von sich ändernden Daten.

 

[DerDanilo]

ZFS ist einfach cool. Jetzt kann man im Proxmox 5 GUI sogar die Replication auf andere Nodes verwalten. Geil!

 

[hackmann]

Halllo,

danke für eure Antworten.

Was das ZFS angeht, sehe ich es genauso.

Aber ich kann es nicht nachvollziehen, dass immer von einem zweiten Proxmoxserver die Rede ist.
Auch in den Englischen Foren wird immer wieder auf einen zweiten Server hingewiessen.

die letzte Anwoirt!
"ZFS ist einfach cool. Jetzt kann man im Proxmox 5 GUI sogar die Replication auf andere Nodes verwalten. Geil!"

Ja Geil wäre, wenn man einen einzelnen ZFS Server hätte und nicht zwei Nodes.

Und immer wieder ist die Rede von einem zweitem Node !°

Aber wie mache ich einen Snapshot per ZFS von einem rpool von einer VM und einer Node? Ohne zwei oder drei Proxmox Server zu haben ?

 

[morph027]

Brauchst du nicht. Ein Snapshot wird auf dem Quellpool erstellt. Ist ja "nur" ein Referenzpunkt. Den kannst du dann auf andere Pools (auch über Netzwerk) kopieren (inkrementell), musst du aber nicht.

 

[scaa]

Mal ne blöde Frage:
ZFS braucht viel RAM - habeich verstanden. Der RAM muss aber dem Hostsystem zugeteilt sein - richtig?
Wenn ich also z.B. 32 GB RAM physikalisch habe und zwei VMs mit jeweils 4 GB RAM laufen lasse hat das Hostsystem + ZFS die verbleibenden 24 GB für das System und ZFS verfügbar - korrekt?

 

[fireon]

Mal ne blöde Frage:
ZFS braucht viel RAM - habeich verstanden. Der RAM muss aber dem Hostsystem zugeteilt sein - richtig?
Wenn ich also z.B. 32 GB RAM physikalisch habe und zwei VMs mit jeweils 4 GB RAM laufen lasse hat das Hostsystem + ZFS die verbleibenden 24 GB für das System und ZFS verfügbar - korrekt?

Theoretisch ja. Generell nimmt ZFS immer die Hälfte des verfügbares RAM's. Kann man / sollte man aber festlegen.

 

[fpausp]

Brauchst du nicht. Ein Snapshot wird auf dem Quellpool erstellt. Ist ja "nur" ein Referenzpunkt. Den kannst du dann auf andere Pools (auch über Netzwerk) kopieren (inkrementell), musst du aber nicht.

Wie funktioniert bitte das kopieren von den Snapshots ? Bei mir läuft Proxmox 5.1 mit ext4 und FreeNAS 11.1

Es gibt einen NFS-Storage vom FreeNAS zu Proxmox, jede Nacht läuft ein Backup aller vm auf die NFS-Freigabe des FreeNAS.

Was ich erreichen möchte ist, dass ich beim Disaster Recovery eine möglichst aktuelle Maschine (1h alt) wiederherstellen kann...

 

[fireon]

Wir haben unsere Freenas schon lange gegen nen Proxmoxhost+ZFS ausgetauscht. Dann kannst du (falls du einen Cluster mit dem Backupserver und deinem VMhost machst) das im Webinterface integrierte Replicationfeature nutzen. Ansonsten, meines achtens bei nur 2 Hosts besser, pve-zsync.

 

[morph027]

Ich nutze dafür https://github.com/oetiker/znapzend

 

[vmanz]

Hallo Fireon,

Ich vermute, daß ich mich mit meiner Architektur-Vorstellung nicht weiterentwickle (aktuell 4-Node Proxmox4-Cluster, Reine Bootlaufwerke, Shared Storage von FreeNAS per NFS). Ich ringe wegen der ZFS-Snaps immer wieder mit mir, zu OmniOS zu wechseln, oder auf die FreeNAS-Integration zu warten.

Ich bin da irgendwie festgefahren und stehe von dem Wechsel nach Proxmox 5, daher suche ich nach Ideen. Wie sieht die Umgebung zu Deinem "Proxmox+ZFS" aus? Haben die Cluster-Member Ihren eigenen ZFS-Aufbau und der "eine" Member ist mehr auf "Backup Kapazität vorhalten" im Gegensatz zu "VMs betreiben" optimiert?

Wär schön, wenn Du meinen Horizont mal über den Alpenhauptkamm erweitern könntest.

Servus Baba von einem "Stermann",

vmanz

 

[fireon]

Also wir fahren hier ZFS überall lokal. Das ist mit Standardserver eben am performantesten. ISCSI hat ja superviel Overhead. Ausserdem hat mich die Komplexität nicht überzeugt. ZFS over ISCSI hatte ich noch nie probiert, da ich von PVE als Backupserver absehen müsste.

Wenn, dann gibt es immer zwei Cluster. Nen Cluster für VM's und nen anderen nur für Backups. Z.B. werden Backups ganz normal per NFS über die Backupverwaltung von PVE auf einen Member von den Backupserver gespielt. Von dort wird dann automatisch mittels pve-zsync zum zweiten member vom Backupcluster gesynct. Natürlich steht der in nem anderen Brandabschnitt. Auch haben die Datasets, da ja nicht nur VMbackups, sondern auch Dateibackups verschiedene Komprimierungs und Cachelevels. Eben je nach Anforderung gibt es auch mal gzip-9.
Die Backupserver haben dann meist ein ZFS RaidZ10, ähnlich einem Raid50. Muss halt immer darauf achten das man nicht voller als 80% wird.

Wie du dir das ganze auf den Server mit den VM's einteilst ist dir überallen. Ich hab halt eigene Datesets für KVMHDD, KVMSSD und das gleiche nochmal für LXC. So bin ich bei den verschiedensten ZFSeinstellungen flexibler. Raidlevel haben wir hier meist Raid10 oder RaidZ10. Natürlich + Enterprise CacheSSD. Die ist ganze wichtig. Fallst nur SSD's betreibst ist das natürlich hinfällig. Betriebssystem ist bei den Clustern die, die VMs betreiben immer auf 2 eigene Enterprise SSD's im Raid1. Somit kann man dem VMpool bequem bearbeiten.

Wenn ich VM's ab und zu verschieben möchte, aktiviere ich die automatische Replikation im Webinterface. Funktioniert wunderbar. Je nach Datenmenge muss man die Replikationszeiten natürlich anpassen.

Natürlich kommt das Szenario zu nem Cephcluster nicht ran. Ceph ist halt um ein vielfaches kostspieliger.

Hoffe ich konnte dir ein wenig Input geben.

 

[vmanz]

Danke, jetzt hab ich noch was zu kauen fürs Wochenende ...

Meine Hosts sind im Moment aber vermutlich "zu klein" dafür dimensioniert. Ich fahre eben noch Generation 2015. Wie ich gerade bei deepdoc.at nachgesehen habe, kennst auch Du die Zeit mit den Supermicro X10-Boards. Ich werde mal paar Platten in den Testcluster stecken und das Prinzip mal antesten, solange noch Winter ist.