Platten durch größere ersetzten...

[Dunuin]

Wobei ne, das würde doch ohne Systemdisk gehen, also Systemvollverschlüsselung mit 4x 2TB SSDs im ZFS Striped Mirror.

Platte 1+2:
1. Partition: 1MB grub
2. Partition: 1GB Partition -> mdadm raid1 -> unverschlüsselt für "/boot"
3. Partition: 32GB Partition -> mdadm raid1 -> LUKS -> LVM -> Root-Dateiystem( + Swap optional) als LVs
4. Partition: 1.967GB Partition unformatiert wo später ZFS draufkommt

Platte 3+4:
1. Partition: 2TB ZFS partition

Würde man erst einmal ein verschlüsseltes Debian 11 installieren mit Partitionen wie oben beschrieben. Dann dropbear-initramfs für das Remote Unlocking einrichten. Dann das Debian in ein PVE konvertieren: https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_11_Bullseye
Dann über die CLI aus Disk 1+2 Partition 4 sowie Disk 3+4 Partition 1 einen keyfile verschlüsselten ZFS Striped Mirror erstellen.
Systemd service erstellen, der den ZFS pool nach dem booten automatisch unlockt.

Ist dann halt ein Mix aus LUKs+mdadm+LVM und ZFS aber wenigstens wäre es dann über grub bootbar.

 

[jedie]

Ja, klingt plausibel. Aber man zwackt dann ein wenig vom nutzbaren RAID ab und mir ist das doch ein wenig zu Aufwendig

 

[jedie]

Hm! Ich hab jetzt in einem zweiten Server das RAID10 aufgebaut. Dann beide zu einem PVE Cluster "verbunden" und rätsel die ganze Zeit erfolglos, wie ich eine LXC instance von einem PVE node zum anderen bekomme...

Jetzt https://forum.proxmox.com/threads/how-to-migrate-vm-from-one-pve-cluster-to-another.68762 gefunden, wonach das migrieren einer LXC/VM von einem node auf den anderen überhaupt nicht unterstützt wird?!?

Alternative: https://github.com/ossobv/proxmove/ oder aber rsync... Ich denke ich probiere es als erstes mit rsync...

 

[Dunuin]

PVE unterstützt leider keine Replikation (und damit auch keine Migration, weil das auf der Replikation basiert) zwischen verschlüsselten ZFS Pools.
Wenn ich Gäste zwischen PVE nodes verschieben will, sende ich immer von einem Server ein Backup zum PBS und stelle das Backup dann auf dem anderen Server wieder her.

 

[jedie]

Ja, über einen PBS könnte ich auch gehen... Aber das ist leider sehr, sehr langsam. Das sind mehr als 10TB zu verschieben.

EDIT: Quatsch, kein 10TB, sondern ~1,9TB...

 

[Dunuin]

Replikation/Migration würde nur gehen, wenn du keine native ZFS Verschlüsselung benutzt, sondern z.B. LUKS- oder Hardware-Verschlüsselung der Disks selbst und dann einen unverschlüsselten ZFS Pool aus den verschlüsselten Disks aufbaust.
Also auch eher unschön.

 

[jedie]

Also ich gehe nun so vor: Ich hab einen neuen PVE server eingerichtet und verschlüsselung mit zfs create -o encryption=on -o keyformat=passphrase tank/vmdata gemacht.
Hab mir kurz die dropbear Lösung angesehen. Da ich eine unverschlüsselte Systemplatte nutzte, sehe ich keinen Nachteil darin, ohne dropbear ins System zu booten, mich per SSH zu verbinden und mit zfs mount -l tank/vmdata das Passwort einzugeben.

Auf dem alten PVE schau ich mir: zpool history | grep "zfs create" an und erstelle so, die LXC valumes auf dem neuen Rechner. Kopiere dann die Inhalte einfach mit rsync rüber. Die LXC config Dateien auch. Hab es mit einem Container durchprobiert und funktioniert...

 

[Dunuin]

Hab mir kurz die dropbear Lösung angesehen. Da ich eine unverschlüsselte Systemplatte nutzte, sehe ich keinen Nachteil darin, ohne dropbear ins System zu booten, mich per SSH zu verbinden und mit zfs mount -l tank/vmdata das Passwort einzugeben.

Jup, dann brauchst du kein dropbear-initramfs.

Dann aber nicht vergessen Swap zu deaktivieren, damit du keine verschlüsselten Daten leakst. Und Containern können auch Daten leaken, da sich diese ja den Kernel mit dem unverschlüsselten PVE Host teilen und Fehler in einem LXC auch im unverschlüsselten Syslog des Hosts landen können.

 

[jedie]

So... Bin fertig. Schaut so aus, das alles gut gelaufen ist...

Danke, insbesondere an @Dunuin