large dnode / zfs 2.0 & grub legacy

[RolandK]

hallo,
was macht man eigentlich wenn ein system kein efi boot kann und man proxmox 6.4 mit zfs 2.0 nutzen möchte ? es gibt doch nur die optionen grub-legacy boot und efi-boot via systemd-boot, oder?

ich hab mir jetzt schon das 3. (gottseidank) unwichtige system im kontext updates "geschrottet" weil ich nicht "mal wieder" nicht aufgepasst hatte wegen dem pool upgrade bzw. bei einem fall weiss ich nichtmal ob ich mich da wirklich vertan habe....

reminder:
aktiviere nicht zstd compression auf einem dataset auf rpool wenn du mit grub-legacy bootest..

ich finde den fehler ehrlich gesagt ziemlich tückisch....

grüsse
roland

 

[Dunuin]

Also bei mir läuft Proxmox 6.4 noch wunderbar mit BIOS und zfs 2.0.
Ich habe allerdings auch kein ZFS für die Root Partition sondern nur LVM auf MDADM raid und Proxmox ist auf ein Debian 10 manuell installiert.

Ich dachte eigentlich das vorletzte Proxmox update sollte das booten nur unmöglich machen, wenn man grub in Kombination mit zstd Kompression für ZFS nutzt?

Was genau meist du mit "large dnode"?

 

[RolandK]

https://forum.proxmox.com/threads/grub-dnodesize-auto-grub-rescue-unknown-filesystem.81544/

and

https://pve.proxmox.com/wiki/ZFS:_Switch_Legacy-Boot_to_Proxmox_Boot_Tool#zpool_Features_and_GRUB


so, if you updated your proxmox system from pre 6.4 to 6.4 and then activate zstd on any dataset of pool rpool - then you have a problem.

 

[RolandK]

mhh, ich hab mich mal noch etwas eingelesen und versteh noch nicht ganz, worin meine grub-issues gelegen haben, denn seit pve 5.4 partitioniert proxmox ja offenbar zur umgebung eben dieser grub boot-probleme 3 partitionen, 1. für grub, 2. EFI und erst die 3. den rpool - so daß grub garnix direkt von zfs nachlädt.... müssen dann wohl andere boot/grub probleme gewesen sein....

 

[Stoiko Ivanov]

denn seit pve 5.4 partitioniert proxmox ja offenbar zur umgebung eben dieser grub boot-probleme 3 partitionen, 1. für grub, 2. EFI und erst die 3. den rpoo

dass stimmt zwar - aber das partitionieren ist nur die halbe Aufgabe - bei 5.4 - 6.3 exisitierte zwar die 512MB partition, allerdings wurde diese bei legacy BIOS systemen nicht verwendet (grub bootet den kernel+initrd direkt vom zpool). Mit 6.4 kam die Aenderung, dass grub auch auf diese (vfat) partitionen installiert wird und der kernel von dort gebootet wird.

Steht (hoffentlich halbwegs verständlich) im oben verlinkten Wiki Artikel beschrieben

https://pve.proxmox.com/wiki/ZFS:_Switch_Legacy-Boot_to_Proxmox_Boot_Tool

Ich hoffe das hilft!

 

[RolandK]

ah, danke für die info - das erklärt dann einiges ! ja, das hilft!

 

[RolandK]

mhh, also bevor ich jetzt nen wichtigen server zerschiesse frag ich lieber nochmal

also ich bin sicher, daß die kiste beim booten immer grub angezeigt hat

root@pve1:~# efibootmgr -v
EFI variables are not supported on this system.

root@pve1:~# proxmox-boot-tool status
Re-executing '/usr/sbin/proxmox-boot-tool' in new private mount namespace..
2668-0537 is configured with: uefi
2668-AFB9 is configured with: uefi

sollte dann da nicht "configured with: grub" stehen ?

wie forciere ich da die nutzung von grub und löse den urpsprünglichen grub der vom zfs bootet ab?

finde die doku da noch etwas irritierend. irritierend ist auch, daß unter https://pve.proxmox.com/wiki/ZFS_on_Linux noch folgendes steht:

With proxmox-boot-tool:
# proxmox-boot-tool format <new disk's ESP>
# proxmox-boot-tool init <new disk's ESP>


With grub:
# grub-install <new disk>



müsste ab 6.4 nicht IMMER proxmox-boot-tool verwendet werden und da ein hinweis stehen, daß grub-install nur bei pre-6.4 verwendet werden muss ?

 

[Stoiko Ivanov]

root@pve1:~# proxmox-boot-tool status
Re-executing '/usr/sbin/proxmox-boot-tool' in new private mount namespace..
2668-0537 is configured with: uefi
2668-AFB9 is configured with: uefi

scheint noch nicht migriert worden zu sein - einfach dem artikel im wiki folgen:
https://pve.proxmox.com/wiki/ZFS:_Switch_Legacy-Boot_to_Proxmox_Boot_Tool

finde die doku da noch etwas irritierend. irritierend ist auch, daß unter https://pve.proxmox.com/wiki/ZFS_on_Linux noch folgendes steht:

naja - nicht ganz perfekt formuliert - aber an und für sich stimmt es - wenn proxmox-boot-tool verwendet wurde (ist bei dem system nicht der fall sonst würde beim `proxmox-boot-tool status` auch grub dastehen)

müsste ab 6.4 nicht IMMER proxmox-boot-tool verwendet werden und da ein hinweis stehen, daß grub-install nur bei pre-6.4 verwendet werden muss ?

bei Systemen, die mit einer ISO 6.4 (oder neuer installiert wurden) ja - bei Systemen, die früher aufgesetzt wurden und auf 6.4 upgegraded wurden... nicht zwingendermaßen

ich hoffe das hilft

 

[Dunuin]

Wie sieht es aus wenn man PVE über die Repo auf ein Debian Buster installiert hat? Kann ich da einfach bedenkenlos weiterhin mein Grub nutzen oder sollte ich da gucken, dass ich auch auf das "proxmox-boot-tool" umstelle?

Ist bei mir etwas speziell:
2x SSDs -> grub + /boot auf beiden SSDs mit initramfs-dropbear + MDADM raid1 -> LUKS -> LVM -> Debian mit PVE

 

[Stoiko Ivanov]

Wie sieht es aus wenn man PVE über die Repo auf ein Debian Buster installiert hat? Kann ich da einfach bedenkenlos weiterhin mein Grub nutzen oder sollte ich da gucken, dass ich auch auf das "proxmox-boot-tool" umstelle?

Ist bei mir etwas speziell:
2x SSDs -> grub + /boot auf beiden SSDs mit initramfs-dropbear + MDADM raid1 -> LUKS -> LVM -> Debian mit PVE

Liest sich jetzt auf den ersten Blick so, als wuerde das system nicht von einem zpool booten?
(grub+/boot auf den SSDs -> ... LVM-> Debian mit PVE)

in dem Fall würde ich alles so lassen wie es bisher ist - wie wird '/boot' auf beiden SSDs in sync gehalten? (mdraid?)

proxmox-boot-tool ist primär dafür da um die kernel-images + initrds auf die VFAT partitionen zu spielen und die bootloader config (grub oder systemd-boot) in sync zu halten.

Ich hoffe das erklärt es.

 

[Dunuin]

Liest sich jetzt auf den ersten Blick so, als wuerde das system nicht von einem zpool booten?
(grub+/boot auf den SSDs -> ... LVM-> Debian mit PVE)

Ja, root/boot ist aktuell kein ZFS sondern LVM.

in dem Fall würde ich alles so lassen wie es bisher ist - wie wird '/boot' auf beiden SSDs in sync gehalten? (mdraid?)

Jup, ist per mdraid gespiegelt.

proxmox-boot-tool ist primär dafür da um die kernel-images + initrds auf die VFAT partitionen zu spielen und die bootloader config (grub oder systemd-boot) in sync zu halten.

Ich hoffe das erklärt es.

Alles klar, danke.