PVE 6 - 7 upgrade hat meinen Server gecrasht

Malli2602

New Member
Jun 17, 2021
27
1
3
36
Hallo zusammen,

im englischen Forum komme ich nicht wirklich weiter weil dort auch nur einer antwortet.
Ich habe ein Update auf PVE 7 durchgeführt und leider nur eine Browser Session als Shell session verwendet. Ja den Fehler macht man nur einmal!
Jetzt ist wie soll es anders sein der Browser während des Updates gecrasht und meine installation ist im Eimer.
Ich benötige dringend Hilfe da ich echt nicht so der geak bin. Gibt es eine Möglichkeit die installation zu reparieren?
Aktuell habe ich auf dem root medium (USB Stick) Probleme mit dem lesen von Sektoren.
Habe schon mit einer Boot disc versucht ein fsck durchzuführen aber der funktioniert nicht auf der root partition weil das system anscheinend busy ist.
Wenn ich von dem Stick boot komme ich sogar in die recovery shell aber wenn ich irgend einen service starten möchte wie z.b. ssh oder den recover mode verlassen möchte dann lande ich immer wieder im recovery mode login screen.

Wäre mega wenn hier jemand einem dummen xD helfen könnte.

Beste grüße,
Stephan
 

Attachments

  • IMG_20210910_083831 (Medium).jpg
    IMG_20210910_083831 (Medium).jpg
    283.3 KB · Views: 16
  • IMG_20210910_075651 (Medium).jpg
    IMG_20210910_075651 (Medium).jpg
    228.6 KB · Views: 16
Hallo Stephan,

ich befürchte, dein Fehler war nicht den Browser zu nutzen, sondern der USB Stick als Boot Medium.
Wenn du schon lesefehler auf dem Stick hast, werden vermutlich alle Rettungsversuche scheitern.
Hast du ein Backup deiner VMs?
Wenn ja, ist es vermutlich einfacher, eine vernünftige Disk für das OS zu nehmen und da drauf neu zu installieren.
Dann die Konfiguration deiner VMs restoren und die Disks wieder einbinden.
 
Hallo SkyDiver,

ich danke dir für deine leider für mich sehr ernüchternde aber den noch hilfreiche Stellungnahme.
Ich hab zwar kein wirkliches Backup aber ich kann die anderen Platten auf denen die VM's liegen noch an browsern und die VM Disk files kopieren..
Würde das reichen einfach eine neue Umgebung (mit anständiger Disk) auszubauen und im Anschluss die Disk wieder einzuhängen?

Könnte das funktionieren?

Beste Grüße,
Stephan
 
Ich weiß nicht wo du welche Daten liegen hast, du kannst die alten Mountpoints in der neuen Installation einhängen und die bestehenden vDisks auch wieder an neu erzeugte VMs anhängen. Eine Kopie ziehen, ist aber trotzdem empfehlenswert.
 
Ok,
gute Nachrichten.
Neuinstallation eines pve 7 war erfolgreich.
Disks werden wie folgt angezeigt.
1631529619650.png
Kann mir jemand helfen das ich die wieder korrekt einbinden kann ohne alle meine daten zu killen :)
Sorry ich brauche echt Hilfe

Beste Grüße,
Stephan
 
PVE schreibt übrigens eine ordentliche Menge an Daten (z.B. 30GB am Tag) weshalb das USB-Sticks/SD-Karten sehr schnell killt. Eine SSD/HDD (oder besser 2 als raid1) als root disk ist da bei PVE eigentlich Pflicht.

Einen vorhandenen Storage zu PVE hinzufügen machst du über "Datacenter -> Storage -> Add". Als was du das hinzufügen musst hängt immer davon ab, wie du die Laufwerke denn damals erstell hast. sdg und sdh3 würden wohl "LVM" oder "LVMthin" sein. sdf1 wohl als "Directory" nachdem du die manuell über fstab gemountet hast. Bei sde1 habe ich keine Ahnung.
 
Hi,
nochmal Danke für die Hilfe.
Ich habe sdf (daten) erst mal einfach nach /mnt/data gemountet was ohne probleme funktioniert hat.
sdg wird mir bereits in LVM angezeigt. Aber irgendwie anfangen kann ich damit noch nichts geschweige den darin browsen
1631530350168.png

über ADD wird mir leider keine disk angezeigt.

Beste Grüße,
Stephan
 

Attachments

  • 1631530338491.png
    1631530338491.png
    6.2 KB · Views: 3
VMs wiederherstellen wird übrigens etwas komplizierter. Erst musst du neue VMs erstellen die aus dem Gedächtnis die gleichen Einstellungen (Storage Controller, Storage Protokol, NIC usw) haben müssen. Dann musst du die vorhandenen alten virtuellen Disks über die CLI umbenennen, damit sie in das Schema mit der VMID passen und über eine Editierung der VM-Konfig-Datei (/etc/pve/qemu-server/DeineVMID.conf) zur VM hinzufügen.
 
Last edited:
Ok, hier ist der Masterplan XD.
Die VM Disk konnte ich erfolgreich in Proxmox einbinden so das sogar die Disks erkannt werden.
1631552741557.png
Um jetzt an die alte Konfiguration zu kommen müsste ich lediglich auf die Daten "/etc/pve/pveserver/xxx" zugreifen können.
Daran scheitert es aktuell weil ich die alte Datendisk welche auf dem USB stick liegt nicht mounten kann.
Code:
root@pve:/dev# mount /dev/sdi3 /usb/
mount: /usb: unknown filesystem type 'LVM2_member'.

Ideen sind willkomenn :)
Beste Grüße
Stephan
 
Hi,
soweit so gut... Leider bekomme ich die Konfig nicht aus dem kopf wieder hin da zum beispiel die VM 101 ein Microsoft SQL Server war und die konfig da nicht ganz einfach gewesen ist. Habe des weiteren mehrere Passthrough geräte durchgeschliffen was es nicht wirklich einfacher macht.

Bin jetzt soweit das ich die LVM Group von meinem alten PVE Root drive umbenennen konnte nach "pveb"
Code:
root@pve:~# pvs
  PV         VG   Fmt  Attr PSize    PFree
  /dev/sdg   SSD  lvm2 a--   238.47g  40.47g
  /dev/sdh3  pve  lvm2 a--  <595.67g <16.00g
  /dev/sdi3  pveb lvm2 a--   <28.15g   2.50g

Die Data Disc "/dev/pveb/data" ist auch Active
Code:
root@pve:~# lvscan
  ACTIVE            '/dev/pveb/swap' [3.50 GiB] inherit
  ACTIVE            '/dev/pveb/root' [7.00 GiB] inherit
  ACTIVE            '/dev/pveb/data' [<12.15 GiB] inherit
  ACTIVE            '/dev/pveb/data_meta0' [1.00 GiB] inherit
  ACTIVE            '/dev/pve/swap' [8.00 GiB] inherit
  ACTIVE            '/dev/pve/root' [96.00 GiB] inherit
  ACTIVE            '/dev/pve/data' [<466.16 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-0' [35.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-102-disk-0' [31.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-103-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-104-disk-0' [10.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-105-disk-0' [10.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-1' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-2' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-3' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-101-disk-4' [5.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-106-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-107-disk-0' [20.00 GiB] inherit
  ACTIVE            '/dev/SSD/vm-200-disk-0' [32.00 GiB] inherit

Das root verzeichnis kann ich auch mounten und browsen doch da ist ja leider nicht der inhalt von "/etc/pve/qemu-server"

Wenn ich versuche die Data Disk zu mounten kommt folgendes
Code:
root@pve:~# mount /dev/pveb/data /usb/disc/data/
mount: /usb/disc/data: wrong fs type, bad option, bad superblock on /dev/mapper/pveb-data, missing codepage or helper program, or other error.

Ein FSCK bringt folgendes:

Code:
root@pve:~# fsck /dev/pveb/data
fsck from util-linux 2.36.1
e2fsck 1.46.2 (28-Feb-2021)
ext2fs_open2: Bad magic number in super-block
fsck.ext2: Superblock invalid, trying backup blocks...
fsck.ext2: Bad magic number in super-block while trying to open /dev/mapper/pveb-data

The superblock could not be read or does not describe a valid ext2/ext3/ext4
filesystem.  If the device is valid and it really contains an ext2/ext3/ext4
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>
 or
    e2fsck -b 32768 <device>

dmesg nach dem mount versuch
Code:
root@pve:~# dmesg | tail
[27042.134667] sd 10:0:0:0: [sdi] tag#0 Add. Sense: Unrecovered read error
[27042.134671] sd 10:0:0:0: [sdi] tag#0 CDB: Read(10) 28 00 02 e4 d0 28 00 00 08 00
[27042.134674] blk_update_request: critical medium error, dev sdi, sector 48549928 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
[27042.168551] sd 10:0:0:0: [sdi] tag#0 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE cmd_age=0s
[27042.168555] sd 10:0:0:0: [sdi] tag#0 Sense Key : Medium Error [current]
[27042.168557] sd 10:0:0:0: [sdi] tag#0 Add. Sense: Unrecovered read error
[27042.168559] sd 10:0:0:0: [sdi] tag#0 CDB: Read(10) 28 00 02 e4 d0 d8 00 00 08 00
[27042.168560] blk_update_request: critical medium error, dev sdi, sector 48550104 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
[28368.979379] device-mapper: thin: Data device (dm-20) discard unsupported: Disabling discard passdown.
[28736.277516] EXT4-fs (dm-21): VFS: Can't find ext4 filesystem

Ideen sehr willkommen
Danke für die unterstützung
 
Last edited:
/etc/pve ist kein normaler Ordner sondern nur der Mointpoint von einem speziellen Dateisysten was das PVE Team extra für die Configs programmiert hat. Die eigentlichen Daten die dann dort gemoutet werden waren glaube ich in einer SQLite DB. Da kommt man also wohl nicht ohne weiteres an die Konfig-Dateien. Vielleicht kann da ja wer vom Team beim mounten helfen oder du durchwühlst mal selbst die SQLite DB und guckst ob du da etwas brauchbares an Daten finden kannst.
 
Hi Dunuin,

wo finde ich die SQL DB?
Wie kann ich jemanden vom Team kontaktieren?
Danke für deine Hilfe!

Beste Grüße,
Stephan
 
Hallo nochmal,

ich konnte mittlerweile die disk wieder ins proxmox als LVM einhängen.
1631600627495.png
Ne idee wie ich weitermachen könnte?
 
wo finde ich die SQL DB?
Guck mal hier. Da ist ziemlich viel beschrieben wie das mit dem Proxmox Cluster File System läuft:

Recovery​

If you have major problems with your Proxmox VE host, e.g. hardware issues, it could be helpful to just copy the pmxcfs database file /var/lib/pve-cluster/config.db and move it to a new Proxmox VE host. On the new host (with nothing running), you need to stop the pve-cluster service and replace the config.db file (needed permissions 0600). Second, adapt /etc/hostname and /etc/hosts according to the lost Proxmox VE host, then reboot and check. (And don’t forget your VM/CT data)
 
  • Like
Reactions: Malli2602
Hallo Dunuin,

leider hat dein vorschlag nicht geholfen.
Ich habe dann doch versucht die VM's von hand wiederherzustellen was eigentlich garnicht so schwierig war. :-D

Jetzt läuft wieder alles!

Danke an alle die mir so tatkräftig geholfen haben.

Beste Grüße,
Stephan
 
  • Like
Reactions: Dunuin

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!