Kleiner LabServer mit 1x NVME-SSD, ZFS oder nicht?

[Machtl]

Hallo,

beschäftige mich erst seit kurzem mit Proxmox, bin kein Linux Neuling, arbeite viel mit Debian, HyperV, VirtualBox, etc...

Jetzt habe ich mir für mein HomeLab und als HeimVMServer ein paar neue Komponenten besorgt und würd gerne mal Proxmox für die Virtualisierung ausprobieren.

Das Board ist ein kleines Epyc Board mit einer 1TB NVME SSD. Eigentlich wollte ich die NVME als BootDrive und auch als Speicher für meine VMs verwenden. Eine SynologyNAS ist über ein 10GB DAC angebunden und kann iSCSI und NFS shares zur Verfügung stellen für Backups, ISO-Images, etc. ZFS over iSCSI geht nicht, weil auf der Synology BTRFS läuft.

Ich frage mich allerdings gerade, was jetzt in Hinsicht auf flexibles arbeiten und auch Snapshots, Live-Migration (für später mal) usw. die bessere Lösung ist in Hinsicht auf die Datenträger Formatierung. Wenn ich von der NVME boote, dann ist das von EXT4, weil in dieser Form ZFS nicht geht mit nur einem Drive. Thin provisioning ist für mich schon wichtig, weil die Größe der einzelnen "VM-HDDs" dynamisch wachsen soll und nicht fix Speicherplatz verschwenden soll.

Jetzt würd das ja alles einfach mit einer Standard-Installation gehen und ich hab auch LVM-Thin zur Verfügung zwecks dynamischer Größen.

Aber, wäre es intelligenter z.B. von einer kleineren separaten SATA-SSD zu booten und die NVME SSD dann als SingleDrive ZFS-Pool zu verwenden für die VMs?

Ich war es halt gewohnt von HyperV oder VirtualBox, das ich dann schnell mal auf "Snapshot" klicken kann, und nach einer misglückten Änderung in einer VM wieder auf diesen SnapshotPunkt zurückgehen zu können. Wie sieht es hier aber aus wenn ich eben ein automatisches Backup z.B. jede Stunde machen lassen möchte. Damit das "superschnell" geht bräuchte ich ein externes ZFS Volume oder? Das bringe ich über die Synology nicht hin. Ich möchte auf keinen Fall jetzt nochmal extra HDDs in den kleinen VM-Proxmox-Server verbauen.

Macht ZFS auf einem SingleDrive (bitte keine Belehrung bzgl. Redundanz, es ist ein TestServer) hier Sinn wegen schneller Backups usw? Aber wie bekomm ich die dann weg oder wieder retour?

Ansonsten würd ich das halt alles nur als local/local-lvm installieren und ein Backup halt über den vzdump auf einen iSCSI oder NFS share machen.

Danke für anregende Rückmeldungen eurerseits

LG Martin

 

[Dunuin]

Ich frage mich allerdings gerade, was jetzt in Hinsicht auf flexibles arbeiten und auch Snapshots, Live-Migration (für später mal) usw. die bessere Lösung ist in Hinsicht auf die Datenträger Formatierung. Wenn ich von der NVME boote, dann ist das von EXT4, weil in dieser Form ZFS nicht geht mit nur einem Drive. Thin provisioning ist für mich schon wichtig, weil die Größe der einzelnen "VM-HDDs" dynamisch wachsen soll und nicht fix Speicherplatz verschwenden soll.

Sicher, dass das nicht geht? Ich meine schon hier von Leuten gesehen zu haben die PVE mit nur einem Laufwerk als ZFS installiert haben. Thin Provisioning macht ZFS ja auch.

Aber, wäre es intelligenter z.B. von einer kleineren separaten SATA-SSD zu booten und die NVME SSD dann als SingleDrive ZFS-Pool zu verwenden für die VMs?

Ich finde getrennte Laufwerke für System und VMs generell sinnvoll. So kann man schnell mal das System neu aufsetzen und den Pool mit den VMs mit einem One-Liner erneut importieren. Besonders wenn man auf dem Pool neben VM auch noch normale Daten speichern möchte.

Ich war es halt gewohnt von HyperV oder VirtualBox, das ich dann schnell mal auf "Snapshot" klicken kann, und nach einer misglückten Änderung in einer VM wieder auf diesen SnapshotPunkt zurückgehen zu können. Wie sieht es hier aber aus wenn ich eben ein automatisches Backup z.B. jede Stunde machen lassen möchte. Damit das "superschnell" geht bräuchte ich ein externes ZFS Volume oder? Das bringe ich über die Synology nicht hin. Ich möchte auf keinen Fall jetzt nochmal extra HDDs in den kleinen VM-Proxmox-Server verbauen.

Beachte aber, dass da PVE mit ZFS immer nur Rollback zum letzten Snapshot kann. Willst du zu einem beliebigen Snapshot zurückrollen können, dann musst du qcow2 mit z.B. LVM Thin und nicht ZFS nutzen, da ZFS nur RAW und nicht qcow2 als virtuelles Blockdevice kann.

Macht ZFS auf einem SingleDrive (bitte keine Belehrung bzgl. Redundanz, es ist ein TestServer) hier Sinn wegen schneller Backups usw? Aber wie bekomm ich die dann weg oder wieder retour?

Mal neben Redundanz verliert ZFS aber damit auch die Fähigkeit zur Selbstheilung. Ohne Mirror/Parität kann ZFS dann zwar z.B. schleichenden Dateiverfall erkennen, aber eben nicht reparieren. Man sollte da nach Möglichkeit also immer wenigstens einen Mirror mit ZFS nutzen, wenn man nicht will, dass da Daten korrumpieren können.

 

[Machtl]

Danke dir für deine Antwort. Ich glaube für meine kleine LabUmgebung werd ich mal nur mit LVM/LVM-Thin auf der NVME starten. Kann die VMs später ja immer noch herum-migrieren sollte das mal mehr werden. Wär mir eigentlich schon ganz recht mit den Qcow2 files zu arbeiten und auch um mal 2-3 snapshots zurück zu gehen. Ich kann ja später immer noch ZFSs dazubauen.

Eine Frage noch, kann man iSCSI Targets direkt an VMs als HDD durchreichen? Oder dann lieber ein LVM-Thin über iSCSI aufbauen?

Danke dir.