PVE 6 - 7 upgrade hat meinen Server gecrasht

[Malli2602]

Hallo zusammen,

im englischen Forum komme ich nicht wirklich weiter weil dort auch nur einer antwortet.
Ich habe ein Update auf PVE 7 durchgeführt und leider nur eine Browser Session als Shell session verwendet. Ja den Fehler macht man nur einmal!
Jetzt ist wie soll es anders sein der Browser während des Updates gecrasht und meine installation ist im Eimer.
Ich benötige dringend Hilfe da ich echt nicht so der geak bin. Gibt es eine Möglichkeit die installation zu reparieren?
Aktuell habe ich auf dem root medium (USB Stick) Probleme mit dem lesen von Sektoren.
Habe schon mit einer Boot disc versucht ein fsck durchzuführen aber der funktioniert nicht auf der root partition weil das system anscheinend busy ist.
Wenn ich von dem Stick boot komme ich sogar in die recovery shell aber wenn ich irgend einen service starten möchte wie z.b. ssh oder den recover mode verlassen möchte dann lande ich immer wieder im recovery mode login screen.

Wäre mega wenn hier jemand einem dummen xD helfen könnte.

Beste grüße,
Stephan

 

[Falk R.]

Hallo Stephan,

ich befürchte, dein Fehler war nicht den Browser zu nutzen, sondern der USB Stick als Boot Medium.
Wenn du schon lesefehler auf dem Stick hast, werden vermutlich alle Rettungsversuche scheitern.
Hast du ein Backup deiner VMs?
Wenn ja, ist es vermutlich einfacher, eine vernünftige Disk für das OS zu nehmen und da drauf neu zu installieren.
Dann die Konfiguration deiner VMs restoren und die Disks wieder einbinden.

 

[Malli2602]

Hallo SkyDiver,

ich danke dir für deine leider für mich sehr ernüchternde aber den noch hilfreiche Stellungnahme.
Ich hab zwar kein wirkliches Backup aber ich kann die anderen Platten auf denen die VM's liegen noch an browsern und die VM Disk files kopieren..
Würde das reichen einfach eine neue Umgebung (mit anständiger Disk) auszubauen und im Anschluss die Disk wieder einzuhängen?

Könnte das funktionieren?

Beste Grüße,
Stephan

 

[Falk R.]

Ich weiß nicht wo du welche Daten liegen hast, du kannst die alten Mountpoints in der neuen Installation einhängen und die bestehenden vDisks auch wieder an neu erzeugte VMs anhängen. Eine Kopie ziehen, ist aber trotzdem empfehlenswert.

 

[Malli2602]

Ok,
gute Nachrichten.
Neuinstallation eines pve 7 war erfolgreich.
Disks werden wie folgt angezeigt.

Kann mir jemand helfen das ich die wieder korrekt einbinden kann ohne alle meine daten zu killen
Sorry ich brauche echt Hilfe

Beste Grüße,
Stephan

 

[Dunuin]

PVE schreibt übrigens eine ordentliche Menge an Daten (z.B. 30GB am Tag) weshalb das USB-Sticks/SD-Karten sehr schnell killt. Eine SSD/HDD (oder besser 2 als raid1) als root disk ist da bei PVE eigentlich Pflicht.

Einen vorhandenen Storage zu PVE hinzufügen machst du über "Datacenter -> Storage -> Add". Als was du das hinzufügen musst hängt immer davon ab, wie du die Laufwerke denn damals erstell hast. sdg und sdh3 würden wohl "LVM" oder "LVMthin" sein. sdf1 wohl als "Directory" nachdem du die manuell über fstab gemountet hast. Bei sde1 habe ich keine Ahnung.

 

[Malli2602]

Hi,
nochmal Danke für die Hilfe.
Ich habe sdf (daten) erst mal einfach nach /mnt/data gemountet was ohne probleme funktioniert hat.
sdg wird mir bereits in LVM angezeigt. Aber irgendwie anfangen kann ich damit noch nichts geschweige den darin browsen


über ADD wird mir leider keine disk angezeigt.

Beste Grüße,
Stephan

 

[Dunuin]

VMs wiederherstellen wird übrigens etwas komplizierter. Erst musst du neue VMs erstellen die aus dem Gedächtnis die gleichen Einstellungen (Storage Controller, Storage Protokol, NIC usw) haben müssen. Dann musst du die vorhandenen alten virtuellen Disks über die CLI umbenennen, damit sie in das Schema mit der VMID passen und über eine Editierung der VM-Konfig-Datei (/etc/pve/qemu-server/DeineVMID.conf) zur VM hinzufügen.

 

[Malli2602]

Ok, hier ist der Masterplan XD.
Die VM Disk konnte ich erfolgreich in Proxmox einbinden so das sogar die Disks erkannt werden.

Um jetzt an die alte Konfiguration zu kommen müsste ich lediglich auf die Daten "/etc/pve/pveserver/xxx" zugreifen können.
Daran scheitert es aktuell weil ich die alte Datendisk welche auf dem USB stick liegt nicht mounten kann.

root@pve:/dev# mount /dev/sdi3 /usb/
mount: /usb: unknown filesystem type 'LVM2_member'.

Ideen sind willkomenn
Beste Grüße
Stephan

 

[Falk R.]

Hi Stephan,
für die 8 VMs bekommst du die VM Konfig doch bestimmt in etwa aus dem Kopf hin. Meistens hat man ja Einstellungen welche man immer setzt.

 

[Malli2602]

Hi,
soweit so gut... Leider bekomme ich die Konfig nicht aus dem kopf wieder hin da zum beispiel die VM 101 ein Microsoft SQL Server war und die konfig da nicht ganz einfach gewesen ist. Habe des weiteren mehrere Passthrough geräte durchgeschliffen was es nicht wirklich einfacher macht.

Bin jetzt soweit das ich die LVM Group von meinem alten PVE Root drive umbenennen konnte nach "pveb"

root@pve:~# pvs
  PV         VG   Fmt  Attr PSize    PFree
  /dev/sdg   SSD  lvm2 a--   238.47g  40.47g
  /dev/sdh3  pve  lvm2 a--  <595.67g <16.00g
  /dev/sdi3  pveb lvm2 a--   <28.15g   2.50g

Die Data Disc "/dev/pveb/data" ist auch Active

root@pve:~# lvscan
  ACTIVE            '/dev/pveb/swap' [3.50 GiB] inherit
  ACTIVE            '/dev/pveb/root' [7.00 GiB] inherit
  ACTIVE            '/dev/pveb/data' [<12.15 GiB] inherit
  ACTIVE            '/dev/pveb/data_meta0' [1.00 GiB] inherit
  ACTIVE            '/dev/pve/swap' [8.00 GiB] inherit
  ACTIVE            '/dev/pve/root' [96.00 GiB] inherit
  ACTIVE            '/dev/pve/data' [<466.16 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-0' [35.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-102-disk-0' [31.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-103-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-104-disk-0' [10.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-105-disk-0' [10.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-1' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-2' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-3' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-4' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-106-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-107-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-200-disk-0' [32.00 GiB] inherit

Das root verzeichnis kann ich auch mounten und browsen doch da ist ja leider nicht der inhalt von "/etc/pve/qemu-server"

Wenn ich versuche die Data Disk zu mounten kommt folgendes

root@pve:~# mount /dev/pveb/data /usb/disc/data/
mount: /usb/disc/data: wrong fs type, bad option, bad superblock on /dev/mapper/pveb-data, missing codepage or helper program, or other error.

Ein FSCK bringt folgendes:

root@pve:~# fsck /dev/pveb/data
fsck from util-linux 2.36.1
e2fsck 1.46.2 (28-Feb-2021)
ext2fs_open2: Bad magic number in super-block
fsck.ext2: Superblock invalid, trying backup blocks...
fsck.ext2: Bad magic number in super-block while trying to open /dev/mapper/pveb-data

The superblock could not be read or does not describe a valid ext2/ext3/ext4
filesystem.  If the device is valid and it really contains an ext2/ext3/ext4
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>
 or
    e2fsck -b 32768 <device>

dmesg nach dem mount versuch

root@pve:~# dmesg | tail
[27042.134667] sd 10:0:0:0: [sdi] tag#0 Add. Sense: Unrecovered read error
[27042.134671] sd 10:0:0:0: [sdi] tag#0 CDB: Read(10) 28 00 02 e4 d0 28 00 00 08 00
[27042.134674] blk_update_request: critical medium error, dev sdi, sector 48549928 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
[27042.168551] sd 10:0:0:0: [sdi] tag#0 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE cmd_age=0s
[27042.168555] sd 10:0:0:0: [sdi] tag#0 Sense Key : Medium Error [current]
[27042.168557] sd 10:0:0:0: [sdi] tag#0 Add. Sense: Unrecovered read error
[27042.168559] sd 10:0:0:0: [sdi] tag#0 CDB: Read(10) 28 00 02 e4 d0 d8 00 00 08 00
[27042.168560] blk_update_request: critical medium error, dev sdi, sector 48550104 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
[28368.979379] device-mapper: thin: Data device (dm-20) discard unsupported: Disabling discard passdown.
[28736.277516] EXT4-fs (dm-21): VFS: Can't find ext4 filesystem

Ideen sehr willkommen
Danke für die unterstützung

 

[Dunuin]

/etc/pve ist kein normaler Ordner sondern nur der Mointpoint von einem speziellen Dateisysten was das PVE Team extra für die Configs programmiert hat. Die eigentlichen Daten die dann dort gemoutet werden waren glaube ich in einer SQLite DB. Da kommt man also wohl nicht ohne weiteres an die Konfig-Dateien. Vielleicht kann da ja wer vom Team beim mounten helfen oder du durchwühlst mal selbst die SQLite DB und guckst ob du da etwas brauchbares an Daten finden kannst.

 

[Malli2602]

Hi Dunuin,

wo finde ich die SQL DB?
Wie kann ich jemanden vom Team kontaktieren?
Danke für deine Hilfe!

Beste Grüße,
Stephan

 

[Malli2602]

Hallo nochmal,

ich konnte mittlerweile die disk wieder ins proxmox als LVM einhängen.

Ne idee wie ich weitermachen könnte?

 

[Dunuin]

wo finde ich die SQL DB?

Guck mal hier. Da ist ziemlich viel beschrieben wie das mit dem Proxmox Cluster File System läuft:

Recovery​

If you have major problems with your Proxmox VE host, e.g. hardware issues, it could be helpful to just copy the pmxcfs database file /var/lib/pve-cluster/config.db and move it to a new Proxmox VE host. On the new host (with nothing running), you need to stop the pve-cluster service and replace the config.db file (needed permissions 0600). Second, adapt /etc/hostname and /etc/hosts according to the lost Proxmox VE host, then reboot and check. (And don’t forget your VM/CT data)

 

[Malli2602]

Hi Dunuin,

das könnte die Rettung sein
Ich werde berichten

 

[Malli2602]

Hallo Dunuin,

leider hat dein vorschlag nicht geholfen.
Ich habe dann doch versucht die VM's von hand wiederherzustellen was eigentlich garnicht so schwierig war. :-D

Jetzt läuft wieder alles!

Danke an alle die mir so tatkräftig geholfen haben.

Beste Grüße,
Stephan