Hallo zusammen,
ich bin gerade dabei unseren zweiten Cluster aus drei neuen Fujitsu RX2540 M8 mit CEPH aufzubauen. Dabei bin ich schon während der Installation gescheitert, weil der Installationsvorgang bei 99% (System bootfähig machen, ja, habe schon viel gegoogelt dazu) hängen blieb. Die Server haben einen PDUAL CP300 Raid Controller für die zwei M2 SSDs (MICRON 7450 MTFDKBA480TFR, 447 GB) eingebaut. Für den Controller hatte ich im BIOS JBOD mode aktiviert um die Platten direkt an Proxmox durchzureichen und dann mittels ZFS RAID1 während der Installation zu formatieren. Genau für dieses Szenario bleibt die Installation bei 99% (siehe Screenshots) hängen.
Zu diesem Zeitpunkt schriebt der Installer gerade die Grub Einträge für den Kernel. Wartet man ein wenig länger sieht man in der eine der Konsolen im Log, dass die Firmware für den megaraid_sas in einen Fehler läuft und die Installation nicht fertig wird. Ich habe dann zum Vergleich den CP300 wieder auf RAID Betrieb umgestellt und ein Logival Volume angelegt und im Installer ext4 gewählt. Damit läuft die Installation fehlerfrei durch.
Mein Verdacht liegt jetzt bei der Kombination des aktuell in PVE 9.1-1 ISO genutzten 6.17 Kernel (und dessen Firmware) im Zusammenspiel mit dem CP300 RAID Controller. Es sieht sehr danach aus, dass der JBOD mode noch nicht sauber unterstützt wird.
Da ich die Sache sehr spannend fand, habe ich mir die Mühe gemacht nochmal von eine PVE 8.4-1 ISO zu installieren und danach laut offizieller Anleitung auf PVE 9.1.0 zu aktualiseren. Das funktioniert auch im JBOD mode. Ist mir aber ehrlich gesagt zu aufwendig und zu unsicher nach der obigen Erfahrung. Scheinbar holt das Upgrade auf PVE9 auch schon einen neueren Kernel:
root@pve05:~# pveversion
pve-manager/9.1.9/ee7bad0a3d1546c9 (running kernel: 7.0.0-3-pve)
Ich schreibe das hier eigentlich auch nur nieder um anderen Admins mit gleicher Konstellation die Zeit zu ersparen das Szenario durchzuspielen. Vielleicht erledigt sich das Thema mit einem zukünftigen Kernel (7.x ?).
Ich habe noch im bug tracker gesucht und den sehr ähnlichen Bericht von einem Super Micro Server gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=7438
Wie handhabt ihr das Thema Hardware RAID vs. JBOD / Passthrough mit ZFS für das OS ? Gibt es Nachteile den Weg mit Hardware-RAID1 und ext4 zu gehen?
Danke fürs Lesen.
Hardy
ich bin gerade dabei unseren zweiten Cluster aus drei neuen Fujitsu RX2540 M8 mit CEPH aufzubauen. Dabei bin ich schon während der Installation gescheitert, weil der Installationsvorgang bei 99% (System bootfähig machen, ja, habe schon viel gegoogelt dazu) hängen blieb. Die Server haben einen PDUAL CP300 Raid Controller für die zwei M2 SSDs (MICRON 7450 MTFDKBA480TFR, 447 GB) eingebaut. Für den Controller hatte ich im BIOS JBOD mode aktiviert um die Platten direkt an Proxmox durchzureichen und dann mittels ZFS RAID1 während der Installation zu formatieren. Genau für dieses Szenario bleibt die Installation bei 99% (siehe Screenshots) hängen.
Zu diesem Zeitpunkt schriebt der Installer gerade die Grub Einträge für den Kernel. Wartet man ein wenig länger sieht man in der eine der Konsolen im Log, dass die Firmware für den megaraid_sas in einen Fehler läuft und die Installation nicht fertig wird. Ich habe dann zum Vergleich den CP300 wieder auf RAID Betrieb umgestellt und ein Logival Volume angelegt und im Installer ext4 gewählt. Damit läuft die Installation fehlerfrei durch.
Mein Verdacht liegt jetzt bei der Kombination des aktuell in PVE 9.1-1 ISO genutzten 6.17 Kernel (und dessen Firmware) im Zusammenspiel mit dem CP300 RAID Controller. Es sieht sehr danach aus, dass der JBOD mode noch nicht sauber unterstützt wird.
Da ich die Sache sehr spannend fand, habe ich mir die Mühe gemacht nochmal von eine PVE 8.4-1 ISO zu installieren und danach laut offizieller Anleitung auf PVE 9.1.0 zu aktualiseren. Das funktioniert auch im JBOD mode. Ist mir aber ehrlich gesagt zu aufwendig und zu unsicher nach der obigen Erfahrung. Scheinbar holt das Upgrade auf PVE9 auch schon einen neueren Kernel:
root@pve05:~# pveversion
pve-manager/9.1.9/ee7bad0a3d1546c9 (running kernel: 7.0.0-3-pve)
Ich schreibe das hier eigentlich auch nur nieder um anderen Admins mit gleicher Konstellation die Zeit zu ersparen das Szenario durchzuspielen. Vielleicht erledigt sich das Thema mit einem zukünftigen Kernel (7.x ?).
Ich habe noch im bug tracker gesucht und den sehr ähnlichen Bericht von einem Super Micro Server gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=7438
Wie handhabt ihr das Thema Hardware RAID vs. JBOD / Passthrough mit ZFS für das OS ? Gibt es Nachteile den Weg mit Hardware-RAID1 und ext4 zu gehen?
Danke fürs Lesen.
Hardy
