Speicherort der VM configs änderbar?

[Raudi]

Hallo,

ich habe hier meine Testumgebung mal von VMware nach Proxmox umgebaut. Aktuell Cluster aus 2 SuperMicro Server mit dual Xenon und 512G RAM die mit 100G an einem NVIDIA Switch (ehemals Mellanox) angebunden sind. Und eine NetApp AFF A220 mit NFS als Speicher für die VM's, welche stündlich an einen 2. Standort repliziert wird.

Gibt es hier irgendwelche Best Practices wie man da am besten mit den VM's umgeht? Denn irgendwie ist es total unglücklich, dass die VM Config nicht zusammen mit den Disks auf dem Shared Storage abgelegt ist. Sind die Hosts beide defekt, weil Gebäude abgebrannt, dann bringt einem die Kopie vom Storage nicht wirklich etwas.

Bei VMware einfach neuen Host aufsetzen an das Storage anbinden und vmx Datei einbinden, VM starten und fertig. Genauso konnte ich auch einen älteren Snapshot vom NFS Volume zusätzlich an den Host mounten und eine vorhandene VM mal eben als VM-Name-Backup einbinden und testweise anstarten.

Eine Möglichkeit wäre, ich kopiere regelmäßig die Configs der VM's von beiden Hosts in ein Verzeichnis auf dem NFS Share. Muss dann hoffen, dass es auch wirklich immer funktioniert. Wäre in meinen Augen aber eine Bastellösung.

Gibt es da nicht irgendwas, dass die Config Dateien gemeinsam mit den Disks auf dem Shared-Storage abgelegt werden? Bzw. eine Funktion die das Herstellerseitig gewährleistet, dass die Configs immer auf dem Shared Storage kopiert werden?

Da bin ich doch bestimmt nicht der erste, der sich darüber Gedanken macht...

Viele Grüße
Stefan

 

[thearona]

Bei backups über den pbs werden die configs mit kopiert. Sonst gibt es aktuell keine offizielle lösung die config Files zu sichern. Das einfachste wäre wohl ein cronjob mit rsync ...

 

[Johannes S]

Gibt es hier irgendwelche Best Practices wie man da am besten mit den VM's umgeht? Denn irgendwie ist es total unglücklich, dass die VM Config nicht zusammen mit den Disks auf dem Shared Storage abgelegt ist. Sind die Hosts beide defekt, weil Gebäude abgebrannt, dann bringt einem die Kopie vom Storage nicht wirklich etwas.

Die Kopie von Storage ersetzt kein Backupkonzept. Oder hast du am zweiten Standort auch Kopien, die älter als zwei Stunden sind? Best practice ist tatsächlich für die Datensicherheit regelmäßig Backups zu machen, entweder mit der internen Backupfunktion (erstellt immer Vollbackups, frisst relativ viel Platz, geht auch mit NFS-Freigaben) oder auf einen ProxmoxBackupServer (der braucht dank Deduplizierung deutlich weniger Platz).

Bei VMware einfach neuen Host aufsetzen an das Storage anbinden und vmx Datei einbinden, VM starten und fertig. Genauso konnte ich auch einen älteren Snapshot vom NFS Volume zusätzlich an den Host mounten und eine vorhandene VM mal eben als VM-Name-Backup einbinden und testweise anstarten.

Eine Möglichkeit wäre, ich kopiere regelmäßig die Configs der VM's von beiden Hosts in ein Verzeichnis auf dem NFS Share. Muss dann hoffen, dass es auch wirklich immer funktioniert. Wäre in meinen Augen aber eine Bastellösung.

Gibt es da nicht irgendwas, dass die Config Dateien gemeinsam mit den Disks auf dem Shared-Storage abgelegt werden? Bzw. eine Funktion die das Herstellerseitig gewährleistet, dass die Configs immer auf dem Shared Storage kopiert werden?

Jein: Einerseits bleiben in einen ProxmoxVE-Cluster die VM-Configs immer vorhanden, genau darum gibt es ja das cluster Dateisystem (eine RAM-Disk, die den Inhalt der Konfigurationsdatenbank unter /etc/pve verfügbar macht):
https://pve.proxmox.com/wiki/Proxmox_Cluster_File_System_(pmxcfs)

Sprich: Hat man einen Cluster, spielt das Thema keine Rolle mehr, fällt ein Knoten aus, startet man die VMs halt auf einen anderen.

Diese Konfiguration kann man natürlich auch seperat sichern, ob nun per rsync oder anderen Sicherungstool.. Verwendet man zfs, kann man mit pve-zsync ( https://pve.proxmox.com/wiki/PVE-zsync ) auch VMs samt Konfiguration auf einen anderen PVE-Server replizieren, selbst wenn dieser nicht zum gleichen Cluster gehört.

 

[Johannes S]

Und noch etwas: Bilden beide Hosts zusammen einen Cluster? Dann unbedingt ein qdevice hinzufügen: https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

Hat man dafür keine Hardware über (ein PI oder mini-pc reicht dafür!), dann besser die beiden Hosts von einander getrennt halten und Migrationen etc. mit dem Proxmox DatacenterManager (der kann in einer vm laufen) vornehmen.

 

[Raudi]

Vielen Dank für die Antworten.

Die Kopie von Storage ersetzt kein Backupkonzept. Oder hast du am zweiten Standort auch Kopien, die älter als zwei Stunden sind? Best practice ist tatsächlich für die Datensicherheit regelmäßig Backups zu machen, entweder mit der internen Backupfunktion (erstellt immer Vollbackups, frisst relativ viel Platz, geht auch mit NFS-Freigaben) oder auf einen ProxmoxBackupServer (der braucht dank Deduplizierung deutlich weniger Platz).

Ne NetApp macht ja auch Deduplizierung und am 2. Standort habe ich 48 Stündliche, 30 Tägliche und 18 Wöchentliche Sicherungen liegen. Diese sind zwar nicht nicht 100% konsistent, da die VM's laufen (Zustand als wenn VM abstürzt), aber in 99,9% aller Fälle ist das kein Problem.

Sprich: Hat man einen Cluster, spielt das Thema keine Rolle mehr, fällt ein Knoten aus, startet man die VMs halt auf einen anderen.

Naja, aber es kann ja auch mal das gesamte Cluster ausfallen... Ich werde dann erstmal einen cron-job mit einem rsync machen, wie von @thearona beschrieben.
Dann muss man ja nur eine neuen Host neu aufsetzen, das NFS verbinden und die vom NFS Datenspeicher die Config Files zurück kopieren und kann dann schon die VM's starten. Das wird das schnellste und einfachste sein.

 

[Impact]

Ich würde dir für eine simple Revisionshistorie/Kopie rsnapshot empfehlen und damit /etc/ und /var/lib/pve-cluster zu sichern.

 

[Raudi]

Und noch etwas: Bilden beide Hosts zusammen einen Cluster? Dann unbedingt ein qdevice hinzufügen: https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

Ja, habe ich noch auf dem Zettel, ich habe bei mir zu Hause noch einen NUC stehen, den wollte ich dafür nutzen. Da läuft auch Proxmox drauf, aber der hat schon 4 VM's daher kann ich den nicht mehr ins Cluster aufnehmen. Oder ich muss die VM's mal irgendwie entfernen und später wieder einbinden. Oder ich installiere auf einer der VM's darauf noch mal das qdevice Paket...

Ich bin noch am überlegen... Und bevor du fragst. Zwischen dem Standort mit dem Servern und hier habe ich eine 25GBit Dark Fiber liegen...

Und ich bin ja auch noch am lernen... Werde garantiert auch noch mal irgendwo ne Schulung machen, denn so einige Details bekommt man bestimmt nur dort vermittelt, auf die man so beim testen und spielen nicht gekommen wäre.

 

[Falk R.]

Vielen Dank für die Antworten.


Ne NetApp macht ja auch Deduplizierung und am 2. Standort habe ich 48 Stündliche, 30 Tägliche und 18 Wöchentliche Sicherungen liegen.

Echte Sicherungen oder Snapshots?
Da musst du genau aufpassen, da man bei Snapshots gern Abhängigkeiten zum Ursprungszustand hat.

 

[Raudi]

Also ich würde das schon als "Sicherungen" bezeichnen, da dieses völlig unabhängig von der Quelle ist und ich kann jeden Snapshot in ein eigenständiges Volume Klonen und dieses dann mounten.

Klar Snapshots haben Abhängigkeiten, aber diese sind alle im Volume, das Volume ist aktuell und es gibt I-Node Kopien von älteren ständen. Snapshots bei NetApp sind "immer" als kompletter Datenbestand lesbar, wenn nicht, dann wäre das komplette Dateisystem der NetApp defekt und sowas habe ich in 20 Jahren NetApp Erfahrung bei noch keinem Kunden erlebt. Datensicherheit steht bei NetApp an erster Stelle...

Aber als es noch VMware war habe ich noch das Synology Backup genutzt um die VM's auf die Synology zu sichern. Da muss ich auch noch mal eine Alternative zu überlegen, aber alles zu seiner Zeit...