Gibt es eine möglichkeit wie bei Windows Wiederherstellungspunkte für das GESAMTE Proxmox zu erstellen also nicht für einzelne VM´s sondern halt alles?
Wie kann ich Proxmox SELBER sichern?
- Thread starter Tony Krops
- Start date
OK, und wie gehts dann weiter?
Recherchiere seit ein Paar Wochen lose über den Restore von ZFS rpool-snaps. Aber es gibt keine Boot Environments (beadm fehlt), wie bei FreeNAS, OmniOS ...
Hintergrund:
Unter PVE4 hatte ich mit rear (http://relax-and-recover.org/) ein Bare-Metal-Restore Konzept für die "Systemplatte". In PVE5 kann man endlich auf Mirrors installieren (ZFS) aber nicht mehr restoren.
Falls jemand etwas dazu hat (oder auch einen anderen Ansatz), bitte schreibt ein paar Zeilen.
Viele Grüße,
vmanz
Recherchiere seit ein Paar Wochen lose über den Restore von ZFS rpool-snaps. Aber es gibt keine Boot Environments (beadm fehlt), wie bei FreeNAS, OmniOS ...
Hintergrund:
Unter PVE4 hatte ich mit rear (http://relax-and-recover.org/) ein Bare-Metal-Restore Konzept für die "Systemplatte". In PVE5 kann man endlich auf Mirrors installieren (ZFS) aber nicht mehr restoren.
Falls jemand etwas dazu hat (oder auch einen anderen Ansatz), bitte schreibt ein paar Zeilen.
Viele Grüße,
vmanz
Generell bootet man ein Live linux (am besten eines mit ZFS, sonst darf noch selbst das Paket bauen) und restored den Pool. Eigentlich ganz normale 0815 Linux Administration. So sichere und restore ich seit 20 Jahren Rechner (egal welches OS, egal welches FS). Beim ZFS Pool musst du ja nur den Bootsektor bzw. die Mini-Boot-Partition am Anfang wieder restorieren, der Rest steckt im Pool drin. Am einfachsten geht das sogar, wenn du UEFI verwendest, denn dann benötigst du nichtmal einen "richtigen" Bootsektor. Dort musst du ja nur ne FAT-Partition am Anfang der Disk haben mit der entsprechenden Dateistruktur.
Generell würde ich hier einfach mal in ZFS-on-Linux (ZoL) Wiki schauen, da gibt es viele Artikel wie z.B. diesen hier:
https://github.com/zfsonlinux/zfs/wiki/Debian-Stretch-Root-on-ZFS
Da steht drin wie man es mit UEFI und mit "normalem" MBR macht.
Mal so ne Frage: Wie geht denn ein ZFS Pool so kaputt, dass du davon nicht mehr booten kannst? Mal von einem EMP und Feuer abgesehen wüsste ich kein Szenario in einem heutigen Rechenzentrum.
Generell würde ich hier einfach mal in ZFS-on-Linux (ZoL) Wiki schauen, da gibt es viele Artikel wie z.B. diesen hier:
https://github.com/zfsonlinux/zfs/wiki/Debian-Stretch-Root-on-ZFS
Da steht drin wie man es mit UEFI und mit "normalem" MBR macht.
Mal so ne Frage: Wie geht denn ein ZFS Pool so kaputt, dass du davon nicht mehr booten kannst? Mal von einem EMP und Feuer abgesehen wüsste ich kein Szenario in einem heutigen Rechenzentrum.
Gut, ich habe nicht den richtigen Ausdruck gewählt. Ich will ein EINFACHEN Rollback zu einem Snapshot machen. Du hast ja schon mal gezeigt, wie man diese Snapshots automatisiert erstellen kann. Ich denke auch, daß Tony dies als eine Art "Wiederherstellungspunkt" akzeptiert.
Für den EMP-Fall habe ich die regelmäßigen Snapshots bereits gesendet und in meiner RZ-Tasche befinden sich Holoduke, RPG, Scuba Gear, Protective Boots,...
Ich will das Problemlösen verschieben und möglichst ohne Umschweife das System von "vorher" wieder haben.
Nach Deinen - vermutlich gut gemeinten - Tips muß ich ein Rescue-System starten und dann ...
... fummeln wie seit 20 Jahren eben.
Das ist nicht mein Ziel.
Mich würde interessieren, ob jemand so etwas gemacht hat oder etwas sauberes kennt.
Im gestarteten aber eben nicht ganz rund laufenden System einen zfs rollback abzusetzen, z.B.
Für den EMP-Fall habe ich die regelmäßigen Snapshots bereits gesendet und in meiner RZ-Tasche befinden sich Holoduke, RPG, Scuba Gear, Protective Boots,...
Ich will das Problemlösen verschieben und möglichst ohne Umschweife das System von "vorher" wieder haben.
Nach Deinen - vermutlich gut gemeinten - Tips muß ich ein Rescue-System starten und dann ...
... fummeln wie seit 20 Jahren eben.
Das ist nicht mein Ziel.
Mich würde interessieren, ob jemand so etwas gemacht hat oder etwas sauberes kennt.
Im gestarteten aber eben nicht ganz rund laufenden System einen zfs rollback abzusetzen, z.B.
Code:
zfs snapshot rpool@funktioniert
[dist-upgrade]
[reboot]
zfs rollback rpool@funktioniert
zpool export rpool
[reset]Klar funktioniert das mit dem rollback. Du kannst sogar im Grub-Menü direkt einen Snapshot starten. Er erzeugt dann direkt einen Clone beim Starten, denn einen Snapshot kann man ja nicht beschreiben - funktioniert intern mit initrd-Skripten.
Wenn du deinen Code verwenden willst - also das instant-rollback, würde ich den Snapshot so sauber wie möglich versuchen (also wenn du weißt, dass du ab jetzt was portentiell invasives machst). Also am Besten alle Dienste vorher kontrolliert herunterfahren, dass keine offenen Dateien mehr da sind und dann den Snapshot machen. Nach dem Versuch des Upgrades und dem Neustarten kann du einfach - bei einem Fehler - den rollback machen und resetten, dann kommt er wieder hoch.
Ich hatte da letzens mal einen Thread gesehen, wo jemand ein Clonezilla in das initramfs eingebaut hat. Damit konnte man dann wohl beim Booten direkt ins Clonezilla starten und damit dann ein Backup der gesamten Systemplatte auf ein externes Medium machen.
Ich wäre da aber auch an einer Lösung interessiert. Meine System-SSDs sind zwar gespiegelt, aber das hilft einem ja auch nichts, wenn man keine Backups von denen hat und ein Proxmox-Update mal das ganze System zerschießen sollte. Ich würde da am liebsten auch irgendwie ein Backup oder Snapshot vor einem Update machen, dass ich da dann kein Risiko habe, falls etwas doch nicht mehr gehen sollte.
Mein PVE ist so sehr angepasst, da würde ich dann wohl Tage brauchen, bis ich alles wieder neu aufgesetzt und eingerichtet hätte.
Ich wäre da aber auch an einer Lösung interessiert. Meine System-SSDs sind zwar gespiegelt, aber das hilft einem ja auch nichts, wenn man keine Backups von denen hat und ein Proxmox-Update mal das ganze System zerschießen sollte. Ich würde da am liebsten auch irgendwie ein Backup oder Snapshot vor einem Update machen, dass ich da dann kein Risiko habe, falls etwas doch nicht mehr gehen sollte.
Mein PVE ist so sehr angepasst, da würde ich dann wohl Tage brauchen, bis ich alles wieder neu aufgesetzt und eingerichtet hätte.
Ja!
Ich bin ganz neu mit dieser Servermaterie & Linux
versuche aber zu lernen.
Mir gehts mal im ersten Schritt darum von meiner aktuellen Proxmox Konfiguration einen Snapshot zu haben den ich leicht wieder herstellen kann.
Hauptsächlich darum da das Proxmox nicht "Out of the box" funktioniert uns man ständig unter der Haube was änder einrichten und anpassen muss.
Habe schon einmal alles vorkonfiguriert und nun neu installiert.
HoTo Anleitungen Schritt für Schritt gibts auch.
Hier im Forum kommen Vermutungen und selten Lösungen wie etwas Schritt für Schritt zu konfigurieren ist.
Dazu widersprechen sich teilweise Aussagen im Forum und es wird von der ursprünglichen Frage abgelenkt was natürlich für mich als Anfänger fatal ist.
Vielleicht kümmert sich ja hier jemand um uns mit unserm Anliegen:
Wie kann ich Proxmox SELBER sichern bzw. leicht wiederherstellbare Snapshots machen?
Lösung 1= ???Lösung 2 = ???
PS: mein Proxmox läuft auf einem ThincCenter M93p(Tiny Form Factor)
Ohne Bildschirm und Tastatur.
Vielleicht sollen wir einen neuen Thread anfangen
Was meinst Du?
Last edited:
Wenn du magst kannst du einen neuen Thread aufmachen und dort Infos sammeln.
Ich hatte z.B. schon einmal nachgefragt ob Proxmox selbst irgendwie Snapshots vor einem Upgrade anlegt, aber Antwort von den Mods war "nein".
Bei mir läuft Proxmox auf LVM und LVM kann Snapshots. Proxmox auf ZFS könnte auch Snapshots. Hatte mich da halt gewundert, dass da Proxmox nicht selbst irgendwie Snapshots vorher erstellt, dass man einfach wieder zum Stand vor dem Upgrade zurückspringen könnte, wenn da doch was nicht mehr nach dem Update läuft. Bei meinem FreeNAS-Server geht das z.B. auch problemlos. dass ich da zwischen Versionen hin und herwechseln kann.
Am liebsten wäre mir aber echt noch ein Weg, wie ich da beide System-SSDs komplett auf Blockebene einmal per SMB auf mein NAS sichern könnte. Weil meine Systemlaufwerke sind etwas speziell:
Da sind Bootloader ohne Raid auf beiden SSDs, dann die Bootpartition als mdraid raid mit einem dropbear-ssh-server der aus der RAMdisk läuft, damit ich per SSH die Systempartitionen entschlüsseln kann. Dann noch ein mdraid raid1 auf dem LUKS läuft für die Verschlüsselung. In dem LUKS ist dann mein LVM wo meine LVs für Root und SWAP drauf sind.
Das wäre super nervig das alles erneut einzurichten, wenn da Proxmox mal beim Update alles zerschießt oder LUKS/mdraid mit einem Upgrade nicht mehr richtig laufen sollte, da ich nicht einfach Proxmox von der Iso installieren kann, sondern das nachträglich auf ein sehr individuell angepasstes Debian nachinstallieren muss.
Das hier war glaube ich der Thread mit Clonezilla.
Ich hatte z.B. schon einmal nachgefragt ob Proxmox selbst irgendwie Snapshots vor einem Upgrade anlegt, aber Antwort von den Mods war "nein".
Bei mir läuft Proxmox auf LVM und LVM kann Snapshots. Proxmox auf ZFS könnte auch Snapshots. Hatte mich da halt gewundert, dass da Proxmox nicht selbst irgendwie Snapshots vorher erstellt, dass man einfach wieder zum Stand vor dem Upgrade zurückspringen könnte, wenn da doch was nicht mehr nach dem Update läuft. Bei meinem FreeNAS-Server geht das z.B. auch problemlos. dass ich da zwischen Versionen hin und herwechseln kann.
Am liebsten wäre mir aber echt noch ein Weg, wie ich da beide System-SSDs komplett auf Blockebene einmal per SMB auf mein NAS sichern könnte. Weil meine Systemlaufwerke sind etwas speziell:
Code:
sda 8:0 0 93.2G 0 disk
├─sda1 8:1 0 1M 0 part
├─sda2 8:2 0 286M 0 part /boot/efi
├─sda3 8:3 0 488M 0 part
│ └─md0 9:0 0 487M 0 raid1 /boot
└─sda4 8:4 0 92.4G 0 part
└─md1 9:1 0 92.3G 0 raid1
└─md1_crypt 253:0 0 92.3G 0 crypt
├─vgpmx-lvroot 253:1 0 21G 0 lvm /
└─vgpmx-lvswap 253:2 0 61G 0 lvm [SWAP]
sdb 8:16 0 93.2G 0 disk
├─sdb1 8:17 0 1M 0 part
├─sdb2 8:18 0 286M 0 part
├─sdb3 8:19 0 488M 0 part
│ └─md0 9:0 0 487M 0 raid1 /boot
└─sdb4 8:20 0 92.4G 0 part
└─md1 9:1 0 92.3G 0 raid1
└─md1_crypt 253:0 0 92.3G 0 crypt
├─vgpmx-lvroot 253:1 0 21G 0 lvm /
└─vgpmx-lvswap 253:2 0 61G 0 lvm [SWAP]Das wäre super nervig das alles erneut einzurichten, wenn da Proxmox mal beim Update alles zerschießt oder LUKS/mdraid mit einem Upgrade nicht mehr richtig laufen sollte, da ich nicht einfach Proxmox von der Iso installieren kann, sondern das nachträglich auf ein sehr individuell angepasstes Debian nachinstallieren muss.
Das hier war glaube ich der Thread mit Clonezilla.
Last edited:
Event wäre für Dich ja der Proxmox Backup Server interessant.
Der soll wie ich das mal als Laie verstehe sowas können?
Dazu braucht man aber zusätzliche Hardware im Netz.
Ob das event. Sinn macht den auf VMware aufzusetzen weiß ich nicht.
Wenn man nicht täglich sichern muss, sondern nur z. B. wenn Änderungen am System gemacht wurden vielleicht schon.
Wenn das überhaupt geht!
Der soll wie ich das mal als Laie verstehe sowas können?
Dazu braucht man aber zusätzliche Hardware im Netz.
Ob das event. Sinn macht den auf VMware aufzusetzen weiß ich nicht.
Wenn man nicht täglich sichern muss, sondern nur z. B. wenn Änderungen am System gemacht wurden vielleicht schon.
Wenn das überhaupt geht!
Ich glaube der Proxmox Backup Server sichert auch nur VMs und LXCs und nicht die ganzen Systemlaufwerke an sich. Auch Snapshots würden kein komplettes Wiederherstellen ermöglichen, weil die dann ja auch nur auf Dateisystem-Ebene und nicht auf Blockebene laufen würden. Selbst wenn Proxmox da ZFS oder LVM Snapshots nutzen würde, dann wäre höchstens das Root-System gesichert was auf LVM oder ZFS läuft, aber bei mir wären dann ja noch die Boot-Partition, Bootloader, Partitionstabelle, LUKS, LVM etc davor die ja auch irgendwie zerschießen können und nicht enthalten wären.
Aber ja, irgendwie Snapshots wäre schon einmal besser als nichts. Das würde bei fehlgeschlagenen Upgrades wenigstens helfen.
Aber ja, irgendwie Snapshots wäre schon einmal besser als nichts. Das würde bei fehlgeschlagenen Upgrades wenigstens helfen.
Hallo,
ich mache wie weiter oben schon angesprochen von Zeit zu Zeit ein Cold-Backup meines Proxmox ganz klassisch mit einem Backupprogramm, dessen ISO ich in Grub eingebunden habe. Das ist bei Debian Systemen auch überhaupt kein Problem, da es grub-imageboot gibt. Welches Programm man nutzt, muss jeder für sich entscheiden. Ich selbst benutze seit einiger Zeit r-drive-image. Ist zwar nicht Kostenlos aber doch erträglich im Preis und bei mir bis dato absolut zuverlässig. Bei Hardware Tausch schon mehrfach eingesetzt.
Eine kleine Anleitung zu grub-imageboot habe ich auf meinen "Schmierzetteln" hinterlegt.
http://www.helpdesk.dynip.online/archiv/proxmox010.html
ich mache wie weiter oben schon angesprochen von Zeit zu Zeit ein Cold-Backup meines Proxmox ganz klassisch mit einem Backupprogramm, dessen ISO ich in Grub eingebunden habe. Das ist bei Debian Systemen auch überhaupt kein Problem, da es grub-imageboot gibt. Welches Programm man nutzt, muss jeder für sich entscheiden. Ich selbst benutze seit einiger Zeit r-drive-image. Ist zwar nicht Kostenlos aber doch erträglich im Preis und bei mir bis dato absolut zuverlässig. Bei Hardware Tausch schon mehrfach eingesetzt.
Eine kleine Anleitung zu grub-imageboot habe ich auf meinen "Schmierzetteln" hinterlegt.
http://www.helpdesk.dynip.online/archiv/proxmox010.html
Last edited:
Ich hatte da Angst mir den Grub irgendwie zu zerschießen, ohne da dein Backup vorher von den System-SSDs zu haben, wenn ich was am Grub ändere.
Vom Prinzip kann ich ja aber auch eigentlich einfach so einen kleinen 8GB Nano-USB-Stick für 4€ mit Clonezilla bootfähig machen und den dann stecken lassen und beim Booten dann diese eine Taste drücken, wo dann das Boot-Menü kommt, wo ich ein anderes Laufwerk wähle von dem einmalig gebootet werden soll.
Hat jemand schon einmal so ein Clonezilla automatisiert, dass da nicht immer manuell wieder alles eingegeben werden muss? Ich verwalte alle Passwörter per Passwort-Manager die daher folglich echt lang und unmerkbar sind und mein IPMI hat kein Copy-And-Paste. Wäre schon ganz nett, wenn ich nicht bei jedem boot dann manuell erneut die Netzwerkfreigaben einbinden müsste.
Vom Prinzip kann ich ja aber auch eigentlich einfach so einen kleinen 8GB Nano-USB-Stick für 4€ mit Clonezilla bootfähig machen und den dann stecken lassen und beim Booten dann diese eine Taste drücken, wo dann das Boot-Menü kommt, wo ich ein anderes Laufwerk wähle von dem einmalig gebootet werden soll.
Hat jemand schon einmal so ein Clonezilla automatisiert, dass da nicht immer manuell wieder alles eingegeben werden muss? Ich verwalte alle Passwörter per Passwort-Manager die daher folglich echt lang und unmerkbar sind und mein IPMI hat kein Copy-And-Paste. Wäre schon ganz nett, wenn ich nicht bei jedem boot dann manuell erneut die Netzwerkfreigaben einbinden müsste.
Hallo,
ob Du nun einen USB-Stick nehmen willst, eine externe Festplatte, mit einer Datasette versuchen oder das ISO direkt auf die Festplatte, must Du für Dich entscheiden. Der Weg mit grub-imageboot ist zumindest sehr simpel und bedarf keiner Verbiegungen an Grub um irgend wie eine ISO zu starten.
An einer externen Backup-Software wirst Du wohl nicht vorbei kommen, und die Startoptionen hängen dann von der verwendeten Software ab.
Hallo,
wie seid ihr mit euren Plänen hier vorangekommen? Die Idee mit Clonezilla finde ich persönlich auch am besten, um gelegentlich ein komplettes Backup des Hosts zu erstellen auf das man z.B. nach einem fehlgeschlagenen Update zurückgreifen kann. Clonezilla nutze ich schon seit Jahren für Windows und Linux Systeme, bei Proxmox klappt es aber nicht. Beim Prüfen der Images erhalte ich Fehler und das Wiederherstellen klappt folglich auch nicht.
wie seid ihr mit euren Plänen hier vorangekommen? Die Idee mit Clonezilla finde ich persönlich auch am besten, um gelegentlich ein komplettes Backup des Hosts zu erstellen auf das man z.B. nach einem fehlgeschlagenen Update zurückgreifen kann. Clonezilla nutze ich schon seit Jahren für Windows und Linux Systeme, bei Proxmox klappt es aber nicht. Beim Prüfen der Images erhalte ich Fehler und das Wiederherstellen klappt folglich auch nicht.
Grundsätzlich stimmt das. Aber wie so häufig steckt der Teufel im Detail. In meinem Fall sind das bspw. Passthrough der iGPU benötigt z.B. Anpassungen bei den Modulen und im Grub. Um Bluetooth zu aktivieren und auch durchzuschleusen sind aktuelle Firmware Files notwendig, die in den richtigen Ordner kopiert sein müssen. Für den Backup Prozess auf einer externen USB HDD sind weitere Pakete notwendig. All das summiert sich eben auf, weshalb ein schnelles Backup vor dem gelegentlichen Update des Host eben doch seine Daseinsberechtigung hat.
Also bei mir ist das neue aufsetzen richtig aufwändig.
Wenn ich das alles neu aufsetzen und aus meinen Aufzeichnungen neu konfigurieren muss, dann bin ich da bestimmt 1-2 Tage mit beschäftigt. Vermutlich viel länger, weil ich bestimmt etwas nicht Notiert habe und mich dann frage, warum etwas nicht wie erwartet wie vorher läuft.
Bisher sehe ich da also auch keine Alternative zum Ansatz einfach die ganzen System SSDs auf Blocklevel-Ebene auf das NAS zu sichern.
Aber wäre schon sehr nett, wenn da Proxmox vor dem Update wenigstens ein LVM Snapshot anlegen würde. Dann müsste man das nicht ganz so oft komplett sichern und könnte wenigstens Probleme durch ein Upgrade schnell wieder rückgängig machen.
- debian installieren
- mdraid einrichten
- LUKS einrichten
- LVM einrichten
- iniramfs-dropbear einrichten
- initramfs hooks/scripts für vlan support einrichten
- script für dropbear anlegen
- initramfs neu bauen
- sshd config ändern und key für root hinzufügen
- bootloader von einer auf die andere SSD klonen
- /etc/hosts anpassen
- Repos für Proxmox, zabbix, elasticsearch hinzufügen
- /etc/sysctl.conf anpassen
- proxmox-ve Packages installieren
- Debian Kernel entfernen
- Netzwerk einrichten
- /etc/modprobe.d/zfs.conf editieren
- zfs-zed installieren
- ksmtuned installieren und einrichten
- alle ZFS pools importieren
- cifs-utils installieren
- Mountpunkte erstellen
- SMB-Shares manuell per /etc/fstab einrichten
- andere Netzwerk-Shares in Proxmox einrichten
- iostat installieren
- mein eigenes Fan-Controller-Script einrichten, dass da die Lüfter per IPMI geregelt werden können
- Backups-Jobs einrichten
- Scrub-Jobs einrichten
- Filebeat installieren und einrichten
- Zabbix installieren und einrichten
- ZoL Plugin für Zabbix einrichten
- Smartmonitor Plugin für Zabbix einrichten
- /tmp auf RAM-Disk legen
- Script für tägliches TRIM kopieren
- cv4pve-autosnap script installieren und in crontab einrichten
- NUT client und server installieren und einrichten
- /etc/default/grub editieren für PCI Passthrough
- bootloader neu bauen
- /etc/modules anpassen, damit module für PCI PAssthrough und tagged vlan geladen werden
- Grafikkarten Treiber blacklisten
- mit hdparm HDDs optimieren
- eigenes Script für automatisches Unlocken der ZFS Pools kopieren
- eigenes Script zum mounten von SMB-Shares und Starten von VMs/LXCs kopieren
- postfix installieren und einrichten
- alle Firewall-Einstellungen neu einstellen
- neue PAM User und Gruppen
- entsprechenden Usern und Gruppen Proxmox-Rechte verteilen
- VMs importieren
- ...
Wenn ich das alles neu aufsetzen und aus meinen Aufzeichnungen neu konfigurieren muss, dann bin ich da bestimmt 1-2 Tage mit beschäftigt. Vermutlich viel länger, weil ich bestimmt etwas nicht Notiert habe und mich dann frage, warum etwas nicht wie erwartet wie vorher läuft.
Bisher sehe ich da also auch keine Alternative zum Ansatz einfach die ganzen System SSDs auf Blocklevel-Ebene auf das NAS zu sichern.
Aber wäre schon sehr nett, wenn da Proxmox vor dem Update wenigstens ein LVM Snapshot anlegen würde. Dann müsste man das nicht ganz so oft komplett sichern und könnte wenigstens Probleme durch ein Upgrade schnell wieder rückgängig machen.
Last edited: