Installation (Proxmox 9) bricht bei der Wahl von ZFS Raid1 ab bzw. Rechner bootet einfach neu

[gender]

Hallo zusammen,
ich bin ganz neu mit Proxmox unterwegs, wollte heute mit der ersten Installation starten und habe schon mein erstes Problem:

Ich habe ein ThinkCenter M920x mit zwei NVME (1 TB). Ich wollte Proxmox (aktuelleste Version 9) mit Raid1 (als Mirroring) installieren.
Wenn ich ZFS Raid 1 auswähle, werden beide NVME angezeigt und lassen sich auswählen. Die Installation startet, bricht aber jedes mal an der gleichen Stelle (bei ca. 65 % ab) und der Rechner startet/bootet plötzlich einfach neu.

Zuerst dachte ich, es wäre ein Grafiktreiber-Problem, wie einige es schon hatten (weil dir Bildschirm einfach schwarz wird) und daher hatte ich noch "nomodeset" hinzugefügt. Aber auch hier bootet der Rechner während der Installation irgendwann plötzlich neu bzw. die Installation bricht ab (sowohl in der Grafik-Installation als auch in der Terminal-Installation).

Wenn ich Proxmox mit dem Dateisystem "ext4" einfach so installiere, läuft die Installation problemlos durch (ausprobiert auf beiden NVMEs, um einen defekt einer SSD auszuschließen). Es ist also wohl kein "Grafikproblem".

Hat jemand eine Idee, warum es bei der Wahl von ZFS Raid 1 dieses Problem bei der Installation gibt.

EDIT: Habe es auch gerade mal mit dem Installer 8.4 versucht: Dort gibt es den gleichen Fehler - allerdings steigt er da schon bei ca. 50 % aus.

 

[waltar]

Raidz1 ist für min. 3 disks und raidz* empfiehlt sich eh nicht für Ablage von virtuellen Maschinen (vm/lxc). Es ist eher kurious, daß es bei dir überhaupt so weit kommt, denn zum Erstellen deines raidz1 werden die 3 devices (real oder virtuell) bereits benötigt, wenn der pool erstellt wird.

Edit: Ohje, da würfelte der Kopf aus "ZFS Raid 1" ein "raidz1" ..., kommt davon, wenn man bei zfs nicht das keyword mirror nimmt

 

[cwt]

@waltar : der TE meinte Mirror, kein z Level

Zum Thema: sind das identische NVME? Gemischte (consumer) Laufwerke sind meist problematisch. Kühlung ausreichend? Im BIOS irgendwas gesetzt bzgl. RAID/RST? Oder PCIe ASPM Link Power Management aktiv?

Ich würde die Laufwerke mal vorab mit einer Live Distro testen (smartctl).

 

[mr44er]

Ganz komisches Fehlerbild, wenn das eine Dateisystem klappt, das andere aber den Rechner wegsemmeln lässt. Das kann eigentlich alles sein, Überhitzung (was für NVMEs sind das und wie werden die gekühlt?), RAM-Fehler...

Von allem abgesehen: Ich würde jetzt zunächst mal die NVMEs vom Board entfernen, dann die firmware vom Thinkcentre aktualisieren + CMOS reset und memtest durchlaufen lassen. Wenn alles gut bis hierher, NVMEs wieder rein und von denen die firmware updaten. Danach zur Sicherheit mal jeweils die namespaces löschen und sorum auf 4k nativ umstellen (die meisten NVMEs haben damit die bessere peformance, werden aber oft noch mit 512 ausgeliefert).

 

[Falk R.]

Ich kenne das Phänomen. Da waren Enterprise NVMe in einem Passiv gekühlten Mini Rechner. Die sind innerhalb weniger Minuten überhitzt.
In der Regel sind die beim FS erstellen ausgestiegen, wenn da etwas Last kommt und die noch wärmer werden.
Da hilft dann nur aktive Kühlung.

 

[gender]

@waltar : der TE meinte Mirror, kein z Level

Zum Thema: sind das identische NVME? Gemischte (consumer) Laufwerke sind meist problematisch. Kühlung ausreichend? Im BIOS irgendwas gesetzt bzgl. RAID/RST? Oder PCIe ASPM Link Power Management aktiv?

es sind zwei identische NVME, ja. Aber Consumer: Crucial P310 SSD 1TB M.2 2280 PCIe Gen4
Im BIOS habe ich dazu keine Info gefunden.

Wie kann es denn sein, dass ich Proxmox nur auf einer NVME problemlos installieren kann und bei RAID1 stürzt er ab ?!

Ich kenne das Phänomen. Da waren Enterprise NVMe in einem Passiv gekühlten Mini Rechner. Die sind innerhalb weniger Minuten überhitzt.
In der Regel sind die beim FS erstellen ausgestiegen, wenn da etwas Last kommt und die noch wärmer werden.
Da hilft dann nur aktive Kühlung.

Ok, interessant, wenn dem so ist... das heißt aber das die "Belastung"/"Schreibzugriff" dann bei der Installation mit RAID1 so viel "intensiver ist?

Von allem abgesehen: Ich würde jetzt zunächst mal die NVMEs vom Board entfernen, dann die firmware vom Thinkcentre aktualisieren + CMOS reset und memtest durchlaufen lassen. Wenn alles gut bis hierher, NVMEs wieder rein und von denen die firmware updaten. Danach zur Sicherheit mal jeweils die namespaces löschen und sorum auf 4k nativ umstellen (die meisten NVMEs haben damit die bessere peformance, werden aber oft noch mit 512 ausgeliefert).

Hmm ok, wie geschrieben, ich bin Anfänger... mal schauen, was ich davon umsetzen kann. Verstanden habe ich maximal die Hälfe ;-)

 

[cwt]

Im RAID setup (Schreiben des Dateisystems), werden beide Laufwerke beschrieben. Also 2x Last bzw. doppelte Wärmemenge in dem kleinen Gehäuse. Ohne richtige Kühlung kannst Du innerhalb kürzester Zeit Deinen Kaffee damit heiß halten Die Dinger drosseln dann massiv runter, schlimmstenfalls erkennt das System das als „Laufwerke weg“.

 

[gender]

Im RAID setup (Schreiben des Dateisystems), werden beide Laufwerke beschrieben. Also 2x Last bzw. doppelte Wärmemenge in dem kleinen Gehäuse. Ohne richtige Kühlung kannst Du innerhalb kürzester Zeit Deinen Kaffee damit heiß halten Die Dinger drosseln dann massiv runter, schlimmstenfalls erkennt das System das als „Laufwerke weg“.

Ist das denn nur bei der Installation von Proxmox so intensiv oder ist auch davon auszugehen, dass das auch später im "normalen" Betrieb passiert...
Falls ja, sollte ich mein Setup wohl nochmal überdenken...

 

[mr44er]

Wie kann es denn sein, dass ich Proxmox nur auf einer NVME problemlos installieren kann und bei RAID1 stürzt er ab ?!

Das kann an der Grenze bei 2° kippen oder nicht. Wir haben ja noch nicht geklärt, ob es ein Hitzeproblem ist. Wenn du keinen Kühlkörper drauf hast und wir noch nicht mit smartctl draufgeschaut haben, müssen wir davon ausgehen (erstmal).

Ok, interessant, wenn dem so ist... das heißt aber das die "Belastung"/"Schreibzugriff" dann bei der Installation mit RAID1 so viel "intensiver ist?

Nicht "soviel intensiver", sondern anders.

Hmm ok, wie geschrieben, ich bin Anfänger... mal schauen, was ich davon umsetzen kann. Verstanden habe ich maximal die Hälfe ;-)

Bootstick basteln mit FreeDOS (fürs firmware flashen des Thinkcentre) via rufus: https://rufus.ie/de/
memtest: https://memtest.org/ (auf nen anderen Stick schreiben, booten und dudeln lassen (dauert je nach RAM-Größe einige Stunden). bis entweder grün oder rot angezeigt wird)
Ja, man könnte das auf einen einzigen Stick schreiben, aber als Anfänger sorum erstmal besser. So eingerichtete Sticks sollten in jeden Werkzeugkoffer eines Bastlers.

 

[mr44er]

ist auch davon auszugehen, dass das auch später im "normalen" Betrieb passiert...

Ja, dann erst recht.

 

[gender]

Danke nochmal für die weiteren Hinweise. Ich werde weiter testen.

Aud die Schnelle: Ich habe gerade mal anstatt 2 NVME folgendes Setup probiert:

1 NVME, 1 SSD über SATA

Siehe da: Da läuft die Installation mit ZFS Raid 1 problemlos durch.

Also spricht nochmal dafür, dass es irgendwie mit 2 NVME gleichzeitig ein (Kühl)Problem gibt.

 

[mr44er]

Du hast bisher noch nicht gesagt, ob deine NVMes überhaupt Kühlkörper drauf haben.

Also spricht nochmal dafür, dass es irgendwie mit 2 NVME gleichzeitig ein (Kühl)Problem gibt.

Wenn die einzelne NVMe jetzt trotzdem an ihrer Grenze wortwörtlich schmort, hilft dir das ja nicht weiter.
Was sagt smartctl -x /dev/nvme0?

 

[gender]

So, habe noch mehr getestet und dabei folgende Erkenntnis:

Es ist die CPU !

Ich hatte die CPU des Thinkcentre gewechselt von i3 8100 zu i5 9500 !
Mit der i3 8100 (und sonst gleichem Setup, also den beiden NVMEs und 32 GB RAM-Riegel) läuft die ZFS Raid1-Installation komplett durch.
(smartctl sagt übrigens aktuell 33 bzw. 35 Grad der beiden NVMEs).


Hatte die i5 9500 extra zur "Aufrüstung" nachgekauft.
Nun ist die Frage: Wie kann ich prüfen, warum die CPU Probleme macht?
Könnte es für die CPU eine besondere Einstellung geben? (macht für mich aber auch irgendwie keinen Sinn, denn die Installation bricht ja nur bei Raid 1 und zwei NVMEs ab - bei z.B. RAID1 und 1 NVME und einer Sata-SSD läuft die Installation ja auch durch).

 

[mr44er]

Es ist die CPU !

Das ist zu vorschnell geurteilt, bloß weil die Installation durchläuft.
Generell aber will man die neueste firmware auf dem Board haben, bevor man eine neue CPU draufsetzt. In den meisten Fällen gibts dann sonst gar kein Bild.

smartctl sagt übrigens aktuell 33 bzw. 35 Grad der beiden NVMEs

Gut, dann könnte man grob vermuten, dass sie nicht überhitzen. Auch wenn man das unter Last nochmal prüfen sollte.

Nun ist die Frage: Wie kann ich prüfen, warum die CPU Probleme macht?

Nicht wirklich. Wie gesagt, firmware aufs Board, wenn nicht schon geschehen. CMOS-reset und dann memtest laufen lassen, bestenfalls sogar mit beiden CPUs, damit du eins ausschließen kannst. memtest belastet nämlich auch die CPU und "testet" sorum auch da die Kühlleistung mit.
Der i5 9500 könnte zu heiß werden, er könnte neuere firmware brauchen oder dein Netzteil hat ne Macke. Mehr als Ausschlußverfahren und gut testen bleibt da nicht.

 

[gender]

@mr44er
Als du etwas von "Netzteil hat ne Macke" geschrieben hast, dämmerte es mir: Das Netzteil (was beim Kauf dabei war) hat nur 65 Watt, nach Herstellerangabe braucht der M920X aber 130 Watt

Hab tatsächlich noch eins hier: und siehe da: Die Installation läuft mit korrektem Netzteil jetzt auch mit der CPU i5 9500 und den zwei NVME auf Raid1 durch !!!

Also sorry, alles (wie so oft) der Fehler von demjenigen, der vor dem Computer saß.
(Verhalten ergibt ja jetzt so auch Sinn: die CPU braucht scheinbar mehr "Saft" als die i3 8100 - und das hat das Netzteil einfach nicht geliefert).

Danke an alle für die Hilfe - jetzt kann ich erstmal anfangen, loszulegen - war sicher nicht der letzte Thread hier im Forum ;-)