Umzug von kleiner NVMe und kleiner SSD auf große NVMe

umsmin

New Member
Sep 29, 2023
5
1
3
Habe eine Frage. Ich verwende folgendes Schema:

PVE-Partitionen.JPG

Nun möchte ich gerne die NVMe und die SSD zusammen auf eine neue 2TB NVMe umziehen. Leider habe ich nur einen NVMe Slot, könnte jedoch eine für den Umzug in ein externes Gehäuse stecken.
Der Node hängt in einem Cluster mit drei PVE's. Auf allen läuft die 8.4.11

Wie geh ich hier am besten vor.

Danke

Gruß

Uli
 
Du betrachtest den Server ja auch nicht als Teil eines Clusters, dann könnte man diesen ja nutzen.

Mach die mal von allem VM und LXC Backups über Proxmox VE, oder auf den Proxmox Backup Server.

Mache Dir auch Backups von /root und /etc, mit allen Unterverzeichnissen.
Evtl. gibts noch Änderungen an anderen Stellen, dann die auch "mitnehmen".

Und, falls da noch weitere Daten der VM, LXC existieren, dann diese vorher auf ein externes NAS sichern!

Danach installiere Proxmox VE 9 neu.
Dann alle VM und LXC aus dem Backup wieder herstellen.
Daten könnten dann über eine NAS-Freigabe eingebunden werden.
 
Last edited:
PBS läuft und alles inklusive der PVE's werden auf eine Syno gesichert.

Gibt es keine andere, einfachere Lösung?
 
Alles hier ist potentiell gefährlich; du sagst du hast Backups. Ich empfehle dennoch, diesen Node vorher zu evakuieren.

Zunächst zur NVMe: da ist offenbar ein ZFS pool drauf, richtig?

1) nimm deinen externen Adapter und mach aus dem Pool (mit einem einzigen vdev, mit einem einzigen Device) einen temporären Mirror! Das geht nur auf der Kommandozeile, weil "-f" notwendig ist, um so unterschiedlich große Devices zusammen zu kleben. Verwende dazu NICHT /dev/nvme1n1 sondern die Links in /dev/disk/by-id/

2) lass die Daten resilvern; das kann -je nach Adapter- auch bei einer NVMe etwas dauern; beobachte das per "zpool status"

Danach kannst du den Pool exportieren und die NVMes gegeneinander austauschen. Auch den externen Adapter mit dem nun kleineren Device bitte angekoppelt lassen.

Der Pool muss beim nächsten Neustart unverändert importiert und per "zpool status" sichtbar sein.

Erst dann würde ich die kleinere NVMe per zpool detach abkoppeln und danach physich entfernen.

Der Pool hat nun immer noch die kleine Größe. Ich suche das jetzt nicht heraus, schau mal nach "autoexpand", setzt das auf "on", exportiere und importiere den Pool erneut. Die neue Größe sollte nun wirksam sein.

Disclaimer: aus dem Stegreif niedergeschrieben --> ohne Garantie ;-)


Dann zur SSD:

Einfach genau so vorgehen (also inklusive der Doppelung per externer Platte) , aber PLUS "bootfähig machen" wie in https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_zfs_administration - "Changing a failed bootable device" beschrieben.

Die zusätzlichen Punkte "Partitionstabelle kopieren, EFI einrichten und bootfähig machen" sind essentiell!

Viel Glück :-)

----

Oben fehlen etliche Details. Wenn das ein Showstopper für dich ist, ist @news Empfehlung "neu installieren" eventuell die bessere Wahl.

Was mir bei deinem System nicht gefällt, ist, dass du keinerlei Redundanz hast. ZFS kann einige Zauberkräfte (wie self-healing) nur nutzen, wenn das der Fall wäre.
 
Alles hier ist potentiell gefährlich; du sagst du hast Backups. Ich empfehle dennoch, diesen Node vorher zu evakuieren.

Zunächst zur NVMe: da ist offenbar ein ZFS pool drauf, richtig?

1) nimm deinen externen Adapter und mach aus dem Pool (mit einem einzigen vdev, mit einem einzigen Device) einen temporären Mirror! Das geht nur auf der Kommandozeile, weil "-f" notwendig ist, um so unterschiedlich große Devices zusammen zu kleben. Verwende dazu NICHT /dev/nvme1n1 sondern die Links in /dev/disk/by-id/

2) lass die Daten resilvern; das kann -je nach Adapter- auch bei einer NVMe etwas dauern; beobachte das per "zpool status"

Danach kannst du den Pool exportieren und die NVMes gegeneinander austauschen. Auch den externen Adapter mit dem nun kleineren Device bitte angekoppelt lassen.

Der Pool muss beim nächsten Neustart unverändert importiert und per "zpool status" sichtbar sein.

Erst dann würde ich die kleinere NVMe per zpool detach abkoppeln und danach physich entfernen.

Der Pool hat nun immer noch die kleine Größe. Ich suche das jetzt nicht heraus, schau mal nach "autoexpand", setzt das auf "on", exportiere und importiere den Pool erneut. Die neue Größe sollte nun wirksam sein.

Disclaimer: aus dem Stegreif niedergeschrieben --> ohne Garantie ;-)


Dann zur SSD:

Einfach genau so vorgehen (also inklusive der Doppelung per externer Platte) , aber PLUS "bootfähig machen" wie in https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_zfs_administration - "Changing a failed bootable device" beschrieben.

Die zusätzlichen Punkte "Partitionstabelle kopieren, EFI einrichten und bootfähig machen" sind essentiell!

Viel Glück :-)

----

Oben fehlen etliche Details. Wenn das ein Showstopper für dich ist, ist @news Empfehlung "neu installieren" eventuell die bessere Wahl.

Was mir bei deinem System nicht gefällt, ist, dass du keinerlei Redundanz hast. ZFS kann einige Zauberkräfte (wie self-healing) nur nutzen, wenn das der Fall wäre.
Gefährlich habe ich nicht gesagt, bin da relaxed. Mein Thema ist nur dass ich keine zusätzliche Maschine habe auf der ich Proxmox parallel hochziehen kann.
Also mal zur Sicherheit:

Code:
root@pve:/etc/apt/sources.list.d# zpool list
NAME    SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool   702G   259G   443G        -         -    35%    36%  1.00x    ONLINE  -

Code:
NAME                            AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
rpool                           45.3G   635G        0B    104K             0B       635G
rpool/ROOT                      45.3G  4.76G        0B     96K             0B      4.76G
rpool/ROOT/pve-1                45.3G  4.76G        0B   4.76G             0B         0B
rpool/data                      45.3G   630G        0B     96K             0B       630G
rpool/data/subvol-12345-disk-0  8.89G  7.35G      246M   7.11G             0B         0B
rpool/data/vm-123-disk-0        61.5G  26.8G     1.59G   8.92G          16.2G         0B
rpool/data/vm-456-disk-0        61.8G  22.8G     1.98G   4.29G          16.5G         0B
rpool/data/vm-789-disk-0        61.8G  29.8G     2.39G   10.9G          16.5G         0B
rpool/data/vm-012-disk-0        61.5G  26.1G     1.01G   8.88G          16.3G         0B
rpool/data/vm-345-disk-0        78.2G  59.3G     2.48G   23.8G          33.0G         0B
rpool/data/vm-678-disk-0        78.3G  55.0G     1.65G   20.4G          33.0G         0B
rpool/data/vm-901-disk-0        78.3G  42.4G      731M   8.71G          33.0G         0B
rpool/data/vm-234-disk-0        61.7G  27.8G     1.53G   9.83G          16.5G         0B
rpool/data/vm-567-disk-0        78.3G  58.3G     4.80G   20.5G          33.0G         0B
rpool/data/vm-567-disk-1         107G  96.8G      816K   35.0G          61.9G         0B
rpool/data/vm-890-disk-0        77.8G  44.7G      475M   11.8G          32.5G         0B
rpool/data/vm-890-disk-1        78.3G  65.4G     8.24G   24.2G          33.0G         0B
rpool/data/vm-123-disk-0        61.8G  29.8G     2.50G   10.8G          16.5G         0B
rpool/data/vm-456-disk-0        61.3G  34.5G     7.45G   11.1G          16.0G         0B
rpool/data/vm-456-state-Test    47.8G  2.78G        0B    261M          2.53G         0B

Mein primäres Problem ist auch dass der Pool auf dem Node folgende Auslastung anzeigt:

Code:
Auslastung 93.29% (676.20 GB von 724.79 GB
Habe ein wenig mit trim verbessern können, gestern war ich bei 98%.
So kam mir die Idee eine große NVMe rein und gut ist.

Könnte man eigentlich mit Clonezilla die beiden Platten auf die neue clonen?
 
Könnte man eigentlich mit Clonezilla die beiden Platten auf die neue clonen?
Vermutlich: ja!

Ich habe das (im ZFS-Kontext) nie gebraucht, aber ich sehe eigentlich keinen Grund warum das nicht gehen sollte. Falls Clonezilla wegen ZFS meckern würde, ginge immer noch stupides "dd". Das geht immer!

Natürlich muss man dann die Partitionstabelle manuell nachbearbeiten, um den zunächst ungenutzten Platz verwenden zu können.

Viele Wege führen nach Timbuktu...
 
Ja ich denke eigentlich auch. Habe jetzt mal zuerst alle drei Nodes auf 9.0.5 gebracht, was wirklich easy ging. Denke mal dass ich die neue NVMe bestelle. Dann ist nächster Sonntag schon verplant.
 
Nun mal hier die Rückmeldung:
heute ist die 2TB NVMe gekommen und dann hat es mich gepackt. Hardware getauscht und die Scripte für das Backup, Auflisten und Einbinden des PBS auf die PVE drauf kopiert.
Vom PBS das letzte Backup gemountet und das Verzeichnis corosync und die erforderlichen Dateien aus dem PVE Verzeichnis ebenfalls kopiert. Reboot und fertig. Anschließend die erforderlichen VM/CT migriert, und fertig.
 
  • Like
Reactions: UdoB