Nach ZFS replace (und eingerichtetem GRUB) bootet proxmox nicht mehr

[Meisterzunge]

Hallo zusammen,

erstmal vorweg:
Ich habe hier eine SSD in meinem Raid-Z1-pool ersetzt. Anschließend habe ich auch, wie beschrieben, den bootloader nochmal geschrieben und dachte dass so alles ok ist.

Jetzt habe ich das erste mal danach den Server neugestartet und proxmox bootet nicht mehr.

Mein Setup
Proxmox ist auf einem Raid-Z1 aus 3 SSD's installiert.

Fehlerbild
- Nachdem Einschalten des Servers wird von der ersetzten (also der neuen) SSD gebootet (das kann ich explizit im Bootmenü auswählen).
- Anschließend wird GRUB gestartet (so wie erwartet)
- Dann tut sich nichts mehr (blinkender cursor)

Ich kann proxmox im abgesichertem Modus starten. Bekomme aber nach ca 2min einen Blinkenden Cursor und dann tut sich nichts weiter.

Ich muss vermutlich "nur" nochmal was am Bootloader einstellen, aber wie?

Danke und Grüße

 

[UdoB]

Damit ZFS booten kann muss man Partitionen präparieren und den Bootloader installieren --> https://pve.proxmox.com/pve-docs/pve-admin-guide.html#sysadmin_zfs_change_failed_dev

 

[Meisterzunge]

Genau das hab ich gemacht
Verstehe noch nicht warum er nicht bootet.. aber muss jetzt erstmal wieder dahin kommen dass ich mich anmelden kann.

Im angesicherten Modus starten funktioniert nicht nicht. Gibt es sowas wie nen USB-Boot-Stick oder Ähnliches?

 

[UdoB]

Genau das hab ich gemacht

Ah! Okay.

Was sagt denn proxmox-boot-tool status? Bei mir sieht das (nur als Beispiel) so aus:

proxmox-boot-tool status
Re-executing '/usr/sbin/proxmox-boot-tool' in new private mount namespace..
System currently booted with uefi
5F4A-5B00 is configured with: uefi (versions: 6.5.13-6-pve, 6.8.12-3-pve, 6.8.12-4-pve)
F16D-5B42 is configured with: uefi (versions: 6.5.13-6-pve, 6.8.12-3-pve, 6.8.12-4-pve)

Gibt es sowas wie nen USB-Boot-Stick oder Ähnliches?

Das Installationsmedium sollte beim Booten einen Recovery-/Rescue-Mode anbieten.

 

[Meisterzunge]

Wenn ich den rescue mode starte erscheint folgender Fehler:

error: noch such device: rpool
ERROR: Unable to find bootdisk automatically

Der rpool ist mein Raind-Z1 pool...


Ich kann über das Installationmedium den installer im Debug-Mode starten.
wenn ich dann proxmox-boot-tool status eingebe bekomme ich:

Re-executing '/usr/sbin/proxmox-boot-tool' in new private mount namespace..
E: /etc/kernel/proxmox-boot-uuids does not exist.

 

[UdoB]

Wenn ich den rescue mode starte erscheint folgender Fehler:

Leider habe ich keinerlei Erfahrung mit dem Rescue-Mode, sorry...

 

[Meisterzunge]

Habe rausgefunden warum sich nichts tut wenn ich boot:

folgender Status meines pool wenn ich zpool import -n -F eingebe:

state: ONLINE
status: One or more devices were being resilvered.

Habe jetzt den import mit zpool import rpool gestartet und warte jetzt ab.

 

[Meisterzunge]

Das resilver ist jetzt abgeschlossen.

Wenn ich den server neustarte dann fährt er zwar hoch.
Meine pools werden korrekt angezeigt wenn ich zpool status eingebe. Status ist ONLINE, resilver ist abgeschlossen. Alles sieht ok aus.

Folgendes fällt mir aber auf wenn ich den Server einschalte:

• PVE bootet. Und auf dem Bildschirm tut sich 5min nichts. Die LED's von meinen rpool SSD's blinken durchgehend...
  Dann erscheint die erste Nachricht: Failed to start systemd journal to persistent storage.
  Danach Failed to start ifupdown2-pre.service
  Dann Dependency failed for networking.service
  Und systemd-udev-settle.service, zfs-import-cache.service und zfs-import-scan.service
  
  
• Es erscheint der welcome screen von proxmox.
• Wenn ich ins journalctl schaue sehe ich dass keine VM container gestartet werden können weil die network bridge vmbr0 nicht existiert.
• Die dritte SSD aus meinem rpool blinkt durchgehend. Als ob noch irgend ein Vorgang aktiv ist.
  
  
• Wenn ich reboot über das terminal versuche passiert nichts.
  Nach 2min erscheint die Meldung watchdog did not stop!
  Danach dann Failed to send WATCHDOG=1 notification message: Connection refused
Waiting for process: 13780 ((sd-sync))

Bin ziemlich ratlos?!

 

[ivenae]

Ich rate mal ins Blaue: Wenn vmbr0 nicht gefunden wird, fehlen kernel-extras, in denen der Treiber steckt.
Ggf. startet er den Kernel von der neuen Platte, und da sind irgendwie die kernel-extras nicht (ins initram?) geschrieben worden?

Versuch mal im Bios-Bootmenü manuell von der nicht getauschten Platte zu starten. Da sollte der Boot-Manager doch in jedem Fall funktionieren, oder nicht?

 

[Meisterzunge]

Du könntest gut recht haben!
Hatte allerdings die ersetzte festplatte, bzw den bootloader wie hier beschrieben (also korrekt?!) eingerichtet..

Im Bootmenü wird mit nur die ersetzte Festplatte (und eine SSD aus einem anderen ZFS pool) angezeigt. Hab es letztendlich nicht geschafft von einer anderen SSD zu booten. Glaube trotzdem dass es mit diesem Vorgehen möglich gewesen wäre.

Habe jetzt letztendlich den Server komplett neu aufgesetzt und alle container aus dem Backup wiederhergestellt.

Danke nochmal.

 

[waltar]

Da hat sich wohl der gesparte Raid controller nach 4 Tagen ZFS Lernkurve und Lösungsfindung durch Neuaufsetzen wohl schon bezahlt gemacht ...

 

[Thomas M.]

Da hat sich wohl der gesparte Raid controller nach 4 Tagen ZFS Lernkurve und Lösungsfindung durch Neuaufsetzen wohl schon bezahlt gemacht ...

Oh Waltarrrr... Ich fürchte Du machst Dich unbeliebt...

Allerdings frage ich mich was man, deiner Meinung nach, in diesen 4 Tagen gelernt haben könnte? Ausser vielleicht das ZFS verflucht kompliziert und frickelich ist. Das ist auch der Grund weswegen ich immer einen weiten Bogen um ZFS mache!
Und da auch ich hier sonst nichts sinnvolles beitragen kann war's das auch von meiner Seite.

 

[UdoB]

Ausser vielleicht das ZFS verflucht kompliziert und frickelich ist.

Echt? Ich finde "mehrere Festplatten + MDRaid + LVM thin/thick + filesystem" viel komplizierter. Und vor allem technisch weit unterlegen, ZFS hat neben der Integration dieser Layer ja etliche weitere Features...

Es ist wie so oft: das, was man kennt, verwendet man naheliegender Weise

 

[Falk R.]

Allerdings frage ich mich was man, deiner Meinung nach, in diesen 4 Tagen gelernt haben könnte? Ausser vielleicht das ZFS verflucht kompliziert und frickelich ist. Das ist auch der Grund weswegen ich immer einen weiten Bogen um ZFS mache!
Und da auch ich hier sonst nichts sinnvolles beitragen kann war's das auch von meiner Seite.

ZFS ist nicht frickelig. Alles was man nicht kennt und nicht super easy ist, wird als frickelig wahrgenommen.
ZFS ist eine Lösung (nicht nur ein Filesystem wie viele Denken) welche seit Jahrzenten gewachsen ist und aus der UNIX Welt kommt.
Wenn viele verschiedene Komponenten wie Raid / LVM / FS vereint werden ist das per Design komplex und wenn man betrachtet welche komplexen Komponenten da drin stecken ist ZFS noch simpel in der Handhabung.
Das Problem ist, es erfordert eihe sehr hohe Lernkurve, da du dich mit vielen verschiedenen Dingen auf einmal auseinadersetzen musst.

Der weite Bogen um ZFS, kann dich vor der steilen Lernkurve bewahren, aber du verpasst auch viele Möglichkeiten damit.
ich empfehle: Beschäftige dich in Ruhe mit den Grundlagen und erst danach probiere es aus. Viele wollen sofort alles perfekt eingerichtet ohne sich Gedanken zu machen wie die technik funktioniert. Das hat noch nie in der IT gut funktioniert.

 

[Thomas M.]

...
ich empfehle: Beschäftige dich in Ruhe mit den Grundlagen und erst danach probiere es aus. ...

Also glaube es oder nicht, aber ich bin schon dabei:

Scheint ja doch gar nicht so schwer...

 

[Falk R.]

Also glaube es oder nicht, aber ich bin schon dabei:
View attachment 79270
Scheint ja doch gar nicht so schwer...

Du willst mit 30 in Rente?

 

[Thomas M.]

Mit 30 in Rente? Äh ja... also wenn ich bereits seit 26 Jahren in Rente wär... Ich bin nicht sicher aber ich vermute dann wäre ich wohl nicht hier. Aber wer weiss das schon so genau.

 

[Falk R.]

Glückwunsch, dann bist du auf deiner Skala längst bei ZFS verstanden.

Also wenn du noch an einzelnen Punkten Verständnisprobleme hast, schreib einfach. Aber ZFS von Grund auf zu erklären wie auf einer Schulung, macht hier keiner im Forum.
P.S. bei der PVE Schulung wird ZFS auch gut erklärt, zumindest bei @mgabriel kann ich das bestätigen.