ZFS Filer als VM Store sinnvoll?

[MarroniJohny]

Hi

Hatte bislang einen ESXi mit einem ZFS Filer für die VM's, welche per NFS zurück an den Host gegeben wurden. War vorteilhaft, dass man VMs komfortabel direkt am Storage rum kopieren konnte. Da ist z.Z. noch napp-it im Einsatz.

Erst versuchte ich, eine .ova für ESXi auf Proxmox zum laufen zu kriegen. Habe die entpackt, und die vmdk in eine .qcow2 konvertiert, und die an eine neue Solaris VM angehängt. Die startete zwar, aber machte dann aus dem OS heraus einen Bootloop. Das war, wer hätte es gedacht, das napp-it Template.

Habe nun nach einigem basteln auf dem PVE Server auch ein napp-it, aufgesetzt auf einem OpenIndiana. Läuft soweit ganz gut. Habe an dem neuen napp-it zwei ZFS Filesystems dem Host per NFS angehängt. Auf einem habe ich da dann ein Debian installiert. Dann die .qcow2 auf den zweiten Share kopiert im napp-it, per cp. Aber da die zweite .qcow2 an einer neuen VM wieder zum laufen zu kriegen, das war gar nicht so ohne. Bzw. ich habe dann mal aufgegeben.

Ist mir schon klar, dass Proxmox die Funktion klonen hat. Das funktioniert auch am Host selber. Aber macht das keinen Sinn, das am Storage (Filer) direkt zu machen? Am ESXi machte das durchaus Sinn, habe das oft benutzt. Einfach kopieren, und dann am Host die .vmx wieder einhängen. Wenn man klonen über den Host auch kann, ok, dann mache ich das über den Host. Aber wie sieht das aus, wenn man eine VM verschieben möchte? Also, dass uuid und MAC gleich bleiben? Wie gesagt, ich bin mir solche Aktionen im Filer gewohnt, das war super praktisch.

Macht das für die VMs überhaupt Sinn, die auf einem Filer laufen zu lassen? Da gibt es noch mehr Vorteile, wie ZFS Snaps, und so. Kann das aber zu wenig beurteilen, wie das auf PVE aussieht.

Dachte auch, ich mache aus drei napp-it ein vSAN für die Migration. Habe ich noch nie gemacht. Aber denke, das wäre am einfachsten.

Gruss und danke

 

[Falk R.]

Hi, am ESXi hat das Sinn gemacht, da dir die ganzen Features aus dem vCenter gefehlt haben.
Bei Proxmox brauchst du das ganze Umständliche manuelle Handling nicht, da du alle wichtigen Enterprise Features, welche bei vSphere nur im vCenter sind, direkt in der GUI hast.
Du kannst deine Platten am besten in einen ZFS Pool direkt auf dem PVE werfen und da deine VMs als RAW rein werfen. Da sparst du dir auch den Overhead des Dateisystems und des NFS Protokoll.
Die VMs kannst du dann am besten direkt clonen, dann sparst du dir die Arbeit auf der CLI komplett.

 

[Falk R.]

Für die Migration gibst du den NFS Share, welchen der ESXi nutzt, direkt an den PVE.
VM Konfiguration nachbauen und die Disks für die VM auf dem NFS platzieren.
VM auf ESXi herunterfahren, die VMDK (descriptor File) über die von dir angelegte neue VMDK kopieren und in der VMDK den Pfad anpassen. Dann neue VM einschalten und im laufenden Betrieb kannst du dann die vDisk auf deinen neuen Pool migrieren.
Steht auch detailliert im Wiki:
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Attach_Disk_.26_Move_Disk_.28minimal_downtime.29

 

[MarroniJohny]

Hi

Ja, danke!

Okay, habe mittlerweile auch die Funktion "Move Storage" neben klonen gefunden. Hihi, das ist ja witzig. Das geht ja sogar, während die VM läuft. Unglaublich, was so alles möglich ist. Das ist schon mal super, dann mache ich das zukünftig am Host.

Wo werden denn die Einstellungen zu den VMs gespeichert? Kann/soll man da auch manuell eingreifen?

Den Filer werde ich aber wohl trotzdem behalten. Das ist ziemlich komfortabel gelöst im napp-it mit ZFS snaps und SMB. Da kann man auch auf Dateiebene zwischen verschiedenen Versionen springen. Das ist super! Hatte bislang zwar Snaps gemacht, aber noch nie welche wiederhergestellt. Denke, das bringt schon einen gewissen Mehrwert.

Hatte bislang einen Perc 310 an napp-it durchgereicht. Das werde ich so wohl auch am neuen Server so machen, falls Du dagegen nichts einzuwenden hast.

Auf Snapshots am ESXi selbst, bzw. in vmware Workstation Pro hatte ich bislang nach Möglichkeit verzichtet. Vielleicht mal kurz zum testen, danach aber gleich wieder gelöscht. Weil sonst kann es sein, dass es da beim konsolidieren mal hakt. Hatte da schlechte Erfahrungen mit gemacht.

So was ich gesehen habe, ist das auf ZFS Ebene was anderes. Scheint ganz gut zu sein gegen Ransomware und Benutzerfehler, was bei mir sicher nicht verkehrt ist. Klicke grundsätzlich auf jeden Link, und alles.

Bislang hatte ich vor allem recht statische Gäste. Die dienen als Anwendungsserver, da wird meist nicht viel geschrieben. Und sonst werden die noch anderweitig gesichert, so z.B. mein Hostingpanel, das sichert die Daten aber zusätzlich aus dem Gast raus per SMB auf einen separaten Filer.

 

[Falk R.]

Hi

Ja, danke!

Okay, habe mittlerweile auch die Funktion "Move Storage" neben klonen gefunden. Hihi, das ist ja witzig. Das geht ja sogar, während die VM läuft. Unglaublich, was so alles möglich ist. Das ist schon mal super, dann mache ich das zukünftig am Host.

Ja ist viel einfacher als auf CLI.

Wo werden denn die Einstellungen zu den VMs gespeichert? Kann/soll man da auch manuell eingreifen?

/etc/pve
VMS: /etc/pve/qemu-server
LXC: /etc/pve/lxc

Den Filer werde ich aber wohl trotzdem behalten. Das ist ziemlich komfortabel gelöst im napp-it mit ZFS snaps und SMB. Da kann man auch auf Dateiebene zwischen verschiedenen Versionen springen. Das ist super! Hatte bislang zwar Snaps gemacht, aber noch nie welche wiederhergestellt. Denke, das bringt schon einen gewissen Mehrwert.

Geht auch alles mit PVE, eventuell hat dein Filer die Features schöner in der GUI, aber der ZFS Unterbau ist identisch.

Hatte bislang einen Perc 310 an napp-it durchgereicht. Das werde ich so wohl auch am neuen Server so machen, falls Du dagegen nichts einzuwenden hast.

Solange der die Disks nicht im Raid0 durchreicht sondern im HBA Modus läuft.

Auf Snapshots am ESXi selbst, bzw. in vmware Workstation Pro hatte ich bislang nach Möglichkeit verzichtet. Vielleicht mal kurz zum testen, danach aber gleich wieder gelöscht. Weil sonst kann es sein, dass es da beim konsolidieren mal hakt. Hatte da schlechte Erfahrungen mit gemacht.

Funktioniert normalerweise gut, aber man sollte Snapshots nie zu lange aufbewahren.

So was ich gesehen habe, ist das auf ZFS Ebene was anderes. Scheint ganz gut zu sein gegen Ransomware und Benutzerfehler, was bei mir sicher nicht verkehrt ist. Klicke grundsätzlich auf jeden Link, und alles.

Bislang hatte ich vor allem recht statische Gäste. Die dienen als Anwendungsserver, da wird meist nicht viel geschrieben. Und sonst werden die noch anderweitig gesichert, so z.B. mein Hostingpanel, das sichert die Daten aber zusätzlich aus dem Gast raus per SMB auf einen separaten Filer.

Dann wäre der Proxmox Backup Server das richtige, da sicherst du inkrementell nur die kleinen Änderungen. Wenn die Anwendung zusätzlich Daten kopieren möchte, ist ja grundsätzllich nicht verkehrt.