Auf ZFS umstellen - Wie und macht das Sinn?

[tony blue]

Hallo,

ich bin seit wenigen Wochen von einem Ubuntu-KVM-Basierenden System auf Proxmox 5.0 (auf EXT4-Dateisystem) umgestiegen und bisher ganz begeistert. Aufgrund der eleganten Möglichkeit per ZFS Backups zu machen überlege ich mir derzeit wie ich den Umstieg mit geringstem Konfigurationsaufwand hinbekomme.

Hardware:
Prozessor: i7-7700T CPU @ 2.90GHz
Speicher: 64 GB RAM (nicht ECC)
Mainboard: Gigabyte Z270-HD3P
Festplatten:
* 2 TB (Proxmox + VM) derzeit auf EXT4
* 4 TB (eigene Dateien + Fotos) -> direkt an VM Dateierver (Samba) durchgeschleift
* 8 TB (Videos VDR Video Disc Recorder) -> direkt an VM VDR durchgeschleift
* 4 TB derzeit ohne zugeordnete Funktion

Anforderung:
* Firewall/Router: Sophos XG
* Datei/Mailserver (Samba, exim4, Dovecot, owncloud)
* VDR Video Disc Recorder (Aufnahme via SAT-Karten)
* Gameserver ARK (Ubuntu-Basis)
* Gameserver Minecraft (Debian-Basis)
* Webserver (apache)
* Win10
-> Diese VMs sind schon installiert und laufen.

Backup erfolgt derzeit so, dass per Cron-job ein weiterer (Hardware-)Rechner per WoL gestartet wird und dort der Fileserver dann per rsync Backups erstellt. Die VMs sichere ich derzeit manuell. Der Backupserver hat die gleichen Platten, d. h. 2 TB + 4 TB + 8 TB.

Meine Fragen an Euch:

1. Macht aus Eurer Sicht der Umstieg auf ZFS + Backup per snapshot + Auslagerung des Backups auf meinen Backup-Rechner Sinn? Oder mache ich mir hier mehr Probleme?

2. Wie bekomme ich den Umstieg von EXT4 auf ZFS mit dem geringsten Installationaufwand hin?

3. Wie würdet Ihr die Platten dann einrichten?

2 TB EXT4 -> ZFS und die anderen Platten so belassen wie es ist
oder
alle Platten in einen ZFS Pool einbinden



Vielen Dank!

Tony

 

[scaa]

Desktop-Hardware und zu wenig RAM. Vergiss ZFS

 

[tony blue]

zu wenig RAM. Vergiss ZFS

Sind 64 GB RAM wirklich zu wenig?

Hier steht:

https://de.wikibooks.org/wiki/ZFS_auf_Linux/_Allgemeine_Empfehlungen

"Man kann aber einen 100TB Pool bereits mit 8GB RAM problemfrei betreiben."

 

[maxprox]

Hallo tony blue,

64 GB RAM sind für kleinere Proxmox mit ein paar VMs (je nach dem was sie leisten sollen) sicher nicht zu wenig. Gäbest du dem ZFS-Proxmox-System 16GB hättest du erst mal eine gute Basis.
ABER: was willst du mit ZFS?
Snapshots? Für's Backup kannst du auf jeden Fall auch unter ext4 vzdump's erstellen. Auserdem ist per se ext4 performater als ZFS und brauch deutlich weniger RAM für das System (4GB sollten reichen). Ich selbst setzte häufig auf ZFS aber zu dem Grund, um OHNE Hardware Raid Controller meine gewünschten Raid Systeme zu verwirklichen. An deiner Stelle würde ich's bei ext4 belassen.
Ausserdem -wie schon erwähnt- für produktive Proxmox Server empfiehlt sich sicher auch Server Hardware, Server Mainboard, ECC-RAM und zB ein XEON... Besonders bei ZFS Systemen, welche viel Leistung aus dem RAM holen wird immer ECC RAM empfohlen.

EDIT: halbes Jahr später: seit ich selbst mit ZFS Snapshots arbeite sehe ich die Welt etwas anders: das ist auf jeden Fall ein Grund zu ZFS zu wechseln ;-)

Grüße,
maxprox

 

[tony blue]

ABER: was willst du mit ZFS?

Ich möchte das Backup der VMs mit weniger Datentraffic erstellen.

Snapshots kann ich unter EXT4 machen. Diese erstellen jedoch jeweils eine vollständige (komprimierte) Kopie der VM. Wenn ich die ZFS-Doku richtig verstanden habe lässt ZFS einen Snapshot mit Delta Copy zu (d. h. ein inkrementelles Backup - wenn ich das richtig verstehe).

Somit könnte ich meinen Backupserver einmal am Tag per WoL starten und dann ohne große Netzwerklast alle VMs wegsichern (weil nur die Veränderungen gesichert werden). Bei Ausfall der Platte verliere ich maximal die Veränderungen eines Tages.

Oder liege ich da falsch?

 

[maxprox]

Hi,
das kann so sein.
weiß nicht ob das grund genug ist, um in deinem Fall auf ZFS umzusteigen(?)
Schaue dir vielleicht auch mal Borg Backup an, das sich groß deduplizierung und Delta Copys auf die Fahnen geschrieben hat (siehe auch IT-Administrator 3/2018 S.70ff) oder BackupPC 4....

EDIT: nochmal: seit ich selbst mit ZFS Snapshots arbeite, sehe ich die Welt etwas anders: das ist auf jeden Fall ein Grund zu ZFS zu wechseln und nicht vergleichbar zu obigen Backup Lösungen ;-)

 

[udo]

Besonders bei ZFS Systemen, welche viel Leistung aus dem RAM holen wird immer ECC RAM empfohlen.

Hi,
das ist aber eine seltsame Begründung, denn ECC-Ram ist in der Regel langsamer als NON-ECC Ram. Jedenfalls bei Boards, die beides unterstützen (z.B. bei AMD-CPUs). Genauer gesagt, es lassen sich dort schnellere Module non-ECC als die verfügbaren ECC-Module verwenden.
Bei Servern ist es egal, weil es sowieso nicht die schnelleren gibt (nur unterschiedlich langsame).

ECC-Ram ist sinnvoll wegen möglichen unbemerkten Bit-Flips - egal ob der Ram von einer DB genutzt wird, oder von ZFS.
Ist halt nur doof, wenn sich ZFS extra Mühe mit Checksums macht, dass die Daten auch wirklich korrekt auf den Platten landen, diese aber vorher durch Bit-Flip kaputt sind... Sozusagen korrekte Checksummen auf defekte Daten.

Udo

 

[udo]

Ich möchte das Backup der VMs mit weniger Datentraffic erstellen.

Snapshots kann ich unter EXT4 machen. Diese erstellen jedoch jeweils eine vollständige (komprimierte) Kopie der VM. Wenn ich die ZFS-Doku richtig verstanden habe lässt ZFS einen Snapshot mit Delta Copy zu (d. h. ein inkrementelles Backup - wenn ich das richtig verstehe).

Somit könnte ich meinen Backupserver einmal am Tag per WoL starten und dann ohne große Netzwerklast alle VMs wegsichern (weil nur die Veränderungen gesichert werden). Bei Ausfall der Platte verliere ich maximal die Veränderungen eines Tages.

Oder liege ich da falsch?

Hi,
ne, da liegst Du richtig. Ich mache sowas für'n Kunden als Disaster Recovery Lösung, wo von zwei Standorten aus alle 6 Stunden die VMs auf eine Notfall-Box zum anderen Standort gesynct werden.
Wird in dem Fall per znapzend gemacht wegen Versionierung auf'n Ziel und läuft gut (dazu per pve-zsync auf die jeweilig andere Node am gleichen Standort um ein Node-Ausfall abzufedern - die pve-syncronisation ist für mich noch nicht stabil genug dafür).
Für sowas ist ZFS echt schick.
Aber Du must dein ZFS-Pool monitoren, weil Du ihn durch Snapshots + Fragmention füllen kannst, bis nix mehr geht.

Bei Deinen Platten: ist ein wildes Sammelsurium. Prinzipiell würde ich versuchen raid10 zu machen, weil z.B. raidz2 deutlich langsamer ist. Und wenn Du eine zusätzliche 2TB-Platte holst, könntest Du mit den beiden 2-TB und den beiden 4TB ein raid10 bauen, was auf den ersten zwei TBs sogar doppelt so schnell ist wie danach... (also suboptimal, aber mit single-Disks bist Du jetzt ja auch nicht verwöhnt).

Udo