ZFS-Anfängerfrage

[pointde]

Nachdem ich ja meinen 1. Versuch mit Proxmox (HP Microserver Gen10+) angefangen 2021 nun komplett geschrottet habe, nun meine Frage an die Profis, ob ich das auf der neuen Hardware so richtig gemacht habe?

Ich habe folgendes Scripts installiert, nachdem ich die ZFS-Pools angelegt habe:
https://github.com/bashclub/proxmox-zfs-postinstall











Christian Zengel von sysops.tv, den ich mir wirklich gerne anschaue, hat das in seinen Videos immer wieder erklärt.
Ich kann aber, so wie ich das jetzt sehe immer nur den "kompletten z. B. vmpool1" snapshotten oder zurückrollen etc.

Könnte mir das bitte nochmal ein Profi erklären, oder soll ich nochmal komplett von vorne beginnen weil es so "Schwachsinn" ist.



In
* backup sollen nur Sicherungen rein (hier sollten die Snapshots komplett abgeschaltet werden. Wie???)
* vm nur die VM´s und LCX´s selbst
* vmdrive-hdd (alles was nicht unbedingt "schnell" gehen muss. Disk Ablage für z. B. Ur-Backup Server etc....
* vmdrive-ssd (die Disks der VM´s und LXC´s, die "schnell" gehen sollen

 

[Dunuin]

Sieht so aus als hättest du Swap auf ZFS. Das sollte man nicht machen. Entweder kein Swap nutzen (das wäre der PVE-Standard wenn ZFS benutzt wird) oder eine eigene Swap-Partition außerhalb von ZFS anlegen.

Was sagt denn cat /etc/pve/storage.cfg? Sieht für mich jetzt erstmal so aus, als wenn du da überhaupt keine ZFS Features benutzt, weil du virtuelle Disks als Image-Dateien auf einem Directory-Storage ablegst?

 

[pointde]

Hier die Ausgabe:

root@pve1:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content backup,vztmpl,iso

zfspool: local-zfs
        pool rpool/data
        blocksize 16k
        content images,rootdir
        sparse 1

dir: vm
        path /vmpool1/vm
        content images,rootdir
        prune-backups keep-all=1
        shared 0

dir: vmdrive-ssd
        path /vmpool1/vmdrive-ssd
        content images,rootdir
        prune-backups keep-all=1
        shared 0

dir: backup
        path /vmpool2/backup
        content backup,snippets
        prune-backups keep-all=1
        shared 0

dir: vmdrive-hdd
        path /vmpool2/vmdrive-hdd
        content rootdir,images
        prune-backups keep-all=1
        shared 0

zfspool: swap
        pool rpool/swap
        blocksize 16k
        content images,rootdir
        mountpoint /rpool/swap

 

[cpzengel]

Guten Tag,

das ist unser eigenes Öksystem und hat mit Proxmox direkt nichts zu tun. Es funktioniert auch mit anderen ZFS Systemen.

Auto-Snapshots sind ein Segen wenn man damit umgehen kann, was man bei uns lernt.
Vor allem der Speicher des Tanks darf nicht vollaufen.
Datasets rausnehmen von den Auto-Snapshots geht mit

zfs set com.sun:auto-snapshot=false rpool/swap #beispiel
alte Snapshots entfernt man gut mit dem Housekeeping Tool uns

https://github.com/bashclub/zfs-housekeeping

./cleansnap -f -k 0 rpool/swap auto

* backup sollen nur Sicherungen rein (hier sollten die Snapshots komplett abgeschaltet werden. Wie???)

zfs set com.sun:auto-snapshot=false rpool/data/vm-100-disk-5 #beispiel

* vm nur die VM´s und LCX´s selbst
?
* vmdrive-hdd (alles was nicht unbedingt "schnell" gehen muss. Disk Ablage für z. B. Ur-Backup Server etc....
Hier blos kein RaidZ, Volblocksize 16k, Thin Provision
* vmdrive-ssd (die Disks der VM´s und LXC´s, die "schnell" gehen sollen
Dann auch Raid1 oder 10

Auf Cloudistböse gibt´s ZFS Grundlagen Kurs und Proxmox mit ZFS Betreiben (unser Konzept)

Auf sysops.tv alles andere, ggf. ältere Videos auf zfs.rocks

LG
chriz

 

[Dunuin]

Du kannst keine einzelnen VMs über ZFS snapshotten, weil du keinen ZFS Storage benutzt. Beim Directory Storage müsstest du qcow2 benutzen, wenn du Snapshots willst.
Ich würde das umbauen und ZFS Storages nutzen.

 

[pointde]

Danke für die die Infos. Könntet ihr mir bitte Tipps geben, wie ich das ganze eurer Meinung nach umbauen soll und wie, damit es passt?
Muss ich dann alles nochmal komplett neu machen?? Das wäre der Wahnsinn!!

Der Storage ist ja oben aufgelistet.
Ich wollte halt mit den "kleinen" SSDś einen Mirror haben, wo nur Proxmox drauf ist.
Dann mit den beiden 7GB wo die vmś und die Disks dazu bei denen Geschwindigkeit eine Rolle spielt ebenfalls einen Mirror
Mit den Festplatten ein Raidz1 für Sachen die nicht sooo schnell gehen müssen.... Backup Ablagen etc.

So war der Plan. Wenn ich euch jetzt so höre, hab ich praktisch alles falsch gemacht

Dies hier ist der derzeitige Storage:

 

[Dunuin]

Gäste backuppen, deine Directory-Storages "vmdrive-hdd", "vmdrive-ssd" und "vm" entfernen.
Dann zwei neue Storages vom Typ ZFS anlegen (Datacenter -> Storage -> Add -> ZFS) die z.B. ebenfalls "vmdrive-hdd" und "vmdrive-ssd" nennen und auf die Datasets "vmpool1/vmdrive-ssd" und vmpool2/vmdrive-hdd" zeigen lassen, Gäste löschen und aus Backups zurückspielen.
Bei Swap kannst du nicht viel machen, wenn du das beim Partitionieren nicht bereits fest eingeplant hast, da du ja unpartitionierten Platz auf einer Disk brauchst, um da eine neue Swap-Partition anlegen zu können.
Swap sollte wie gesagt weder ein Zvol noch eine Swapdatei auf einem Dataset sein.

 

[pointde]

Ich habe es nun so gemacht:
Disk- und Container Files auf den HDD-Pool (vmdrive-hdd) verschoben. Den vmdrive-ssd und vm pool gelöscht. Neu als ssd1pool angelegt, wieder zurück - läuft soweit...

Nun hätte ich noch zwei Fragen:
Die 3 HDDś hätte ich gerne als hdd1pool mit zfs angelegt. Hier kann ich allerdings dann keine Backups mehr ablegen. Wäre es dann sinnvoll zfs anzulegen, allerdings nicht auf "Add storage" zu klicken und dann darin ein Directory zu erstellen? Wie gesagt hier sollen vm, lcx disks rein, bei denen es nicht "schnell" gehen muss, UR-Backup Server Disk, Images-Ablage etc - aber eben auch Proxmox VM-Backups.

Kann ich SWAP einfach wieder löschen, wenn man das auf zfs nicht macht - wie?!

Danke im Voraus

root@pve1:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content vztmpl,backup,iso

zfspool: local-zfs
        pool rpool/data
        blocksize 16k
        content images,rootdir
        sparse 1

zfspool: swap
        pool rpool/swap
        blocksize 16k
        content images,rootdir
        mountpoint /rpool/swap

zfspool: ssd1pool
        pool ssd1pool
        content rootdir,images
        mountpoint /ssd1pool
        nodes pve1

root@pve1:~#

 

[Dunuin]

Die 3 HDDś hätte ich gerne als hdd1pool mit zfs angelegt. Hier kann ich allerdings dann keine Backups mehr ablegen. Wäre es dann sinnvoll zfs anzulegen, allerdings nicht auf "Add storage" zu klicken und dann darin ein Directory zu erstellen?

Ja, auf einem ZFS Storage kannst du keine Dateien anlegen. Da würde ich mir dann ein zusätzliches Dataset auf dem HDD Pool anlegen und auf dessen Mountpoint dann ein Directory Storage zeigenlassen. Aber setzen von "is_mountpoint" nicht vergessen, was nur über die CLI geht.

 

[pointde]

Praktisch, so wie du es hier beschrieben hast, ist das noch gültig?

 

[Dunuin]

Praktisch, so wie du es hier beschrieben hast, ist das noch gültig?

Jup, genau