[SOLVED] Boot Partition auf andere Festplatte verschieben

[ShinigamiLY]

Hallo allerseits,

vor einer Woche hatte ich mir einen DL360p G8 gekauft.
Dieser verfügt über einen HPE Smart Array P420i Controller der nun in HBA Mode eingestellt wurde.
Grund dafür ist, dass ich gerne die SSDs mit ZFS einrichten will.
Leider hat dies den Nachteil, dass man durch diesen Controller nicht mehr booten kann, weshalb diese Partition woanders gelegt werden muss.

Ich habe einige Anleitungen die etwas alt sind getestet und durchforstet. Da ist jemand der daselbe Problem hatte und er hat es gelöst indem er die boot Partition auf die SD Karte gepackt hat. Zu erwähnen ist, dass der DL360p über eien SD Slot auf dem Mainboard verfügt, sowie über einen USB Anschluß auch auf dem Mainboard.
Von beiden könnte somit gebootet werden, denn diese werden durch den anderen Controller erkannt.

Da ich große Probleme hatte eine gescheite Distro zu finden die den rpool einbinden konnte etc. hatte ich mich entschloßen ProxMox auf eine normale SAS Festplatte zu installieren das als ext4 formatiert wurde. Optimal wäre für mich gewesen einen Pool als Mirror mit den beiden SAS Festplatten einzurichten. Was solls. Kann mich auch mit nur eine ext4 Platte zufrieden geben.

Die restlichen 4 SSDs sollen später als ZFS Raid10 eingerichtet werden. Spielen aber bei meinem Problem jetzt erstmal keine Rolle.

Ich versuche mich nun seit 3 Tagen daran die SD Karte so einzurichten, dass es davon bootet die dann auf die SAS Festplatte zeigt um ProxMox zu starten.
Was ich schon alles getestet habe kann ich nichteinmal mehr sagen... Hoffe jemand kann mir da weiterhelfen...


Hier die eine Anleitung, die ich gesehen hatte. Einige Befehle etc. scheinen eh veraltet zu sein. Hatte ähnliches mit gparted etc. versucht.
https://www.reddit.com/r/homelab/comments/ap9usf/proxmoxzfs_installed_on_hp_dl360p/

 

[aaron]

Ich war vor ein paar Jahren in der gleichen Situation mit einem 380 G8.

Ich würde dir empfehlen, für ein paar Euro einen H220 HBA Controller zu kaufen. Die gibt es schon im IT-Mode geflashed auf Ebay und Konsorten. Evtl. brauchst du noch andere Kabel da die schon eingebauten einen gewinkelten Stecker haben durch den du nicht beide am HBA anstecken kannst.

Damit hast du weniger Herumgebastelei und mitunter auch ein wenig bessere Performance.

 

[ShinigamiLY]

Ich war vor ein paar Jahren in der gleichen Situation mit einem 380 G8.

Ich würde dir empfehlen, für ein paar Euro einen H220 HBA Controller zu kaufen. Die gibt es schon im IT-Mode geflashed auf Ebay und Konsorten. Evtl. brauchst du noch andere Kabel da die schon eingebauten einen gewinkelten Stecker haben durch den du nicht beide am HBA anstecken kannst.

Damit hast du weniger Herumgebastelei und mitunter auch ein wenig bessere Performance.

Hmpf... das habe ich beinahe befürchtet
Werde wohl nicht mehr drum herum vorbei kommen.
Darf ich dich vielleicht noch etwas fragen? Da ich neu im Server Bereich bin...

1. Kommt dieser HPE Smart Array P420i Controller von den 2 Mainboard Anschlüßen sprich der Controller ist auf dem Mainboard, oder ist das durch die Backplane hinter den Festplatten bedingt?
2. Falls die Backplane lediglich als Verteiler dient, dann wäre ich sehr zufrieden, denn dann kann ich wenigstens weiterhin die verwenden.
3. Was bedeutet dieses IT-Mode? Muss ich davon ausgehen, dass die meisten PCIe HBAs einen Controller mitbringen? Und somit ich darauf achten müsste, dass die über einen "Passthrough" verfügen?
4. Reicht eine 6G oder sollte es lieber eine 12G für SSDs werden? Hatte woanders aufgeschnappt, dass SATA ja eigentlich nur die Hälfte kann. Wahrscheinlich weil SATA ja nicht gleichzeitig senden und empfangen kann. 6G / 8 = 750MBs was ja für SSDs reichen würde. Bei 3G / 8 = 375 MBs was widerrum nicht so toll wäre.
5. Muss es eigentlich von HP sein, oder kann ich mir auch z.B. den Broadcom 9207-8i SAS2308 6G SATA SAS HBA PCIe x8 Avago LSI 9217-8i RAID IT Mode holen?

 

[Dunuin]

1. Kommt dieser HPE Smart Array P420i Controller von den 2 Mainboard Anschlüßen sprich der Controller ist auf dem Mainboard, oder ist das durch die Backplane hinter den Festplatten bedingt?
2. Falls die Backplane lediglich als Verteiler dient, dann wäre ich sehr zufrieden, denn dann kann ich wenigstens weiterhin die verwenden.

Normalerweise sitzt der auf dem Mainbaord und ist dort intern per PCIe angebunden und liefert dir dann die SATA/SFF Buchsen. Würde mich wundern wenn es bei deinem Server anders wäre.

3. Was bedeutet dieses IT-Mode? Muss ich davon ausgehen, dass die meisten PCIe HBAs einen Controller mitbringen? Und somit ich darauf achten müsste, dass die über einen "Passthrough" verfügen?

Du hast bei den LSI Raid Controllern (HP/Dell Raid Controller sind meist LSI Rebrandings) einen IR oder IT Mode. IR Mode nutzt Raid, IT Mode nutzt kein Raid. Je nachdem ob man also einen HW Raid oder ein HBA will flasht man dann die IT Mode oder IR Mode Firmware drauf.
Jeder HBA hat auch einen Controller. Wichtig ist da halt auch zu gucken, dass da der Controller Chipsatz vom Linux-Kernel unterstützt wird und Dinge wie "Passthrough" hängen wie du schon sagst halt auch vom Controller ab.

4. Reicht eine 6G oder sollte es lieber eine 12G für SSDs werden? Hatte woanders aufgeschnappt, dass SATA ja eigentlich nur die Hälfte kann. Wahrscheinlich weil SATA ja nicht gleichzeitig senden und empfangen kann. 6G / 8 = 750MBs was ja für SSDs reichen würde. Bei 3G / 8 = 375 MBs was widerrum nicht so toll wäre.

Wichtig ist auch wieviele PCIe Lanes der HBA elektrisch nutzt und welche PCIe Generation. Mein Dell PERC H310 hat z.B. PCIe 2.0 8x. Ist also in der Theorie mit maximal 4,0 GByte/s an die CPU angebunden. Dann hat PCIe aber noch Overhead, also kann man da noch gut 20% von abziehen und hat nur noch 3,2 GB/s. Die 3,2 GB/s müssen sich dann 8 Laufwerke teilen, hätte jedes Laufwerk also nur noch 400MB/s. Und dann hat SATA ja auch noch Overhead. Da kann man dann nochmal gut 25% abziehen. Und schon bekommt man da nicht mehr als 300MB/s zu den einzelnen Laufwerken. Und dann darf man ja auch nicht vergessen, dass da bei Raid ja immer alle Laufwerke gleichzeitig voll ausgelastet werden, die SSDs also dann auch wirklich schnell auf 300MB/s limitiert sind. Hätte man kein Raid und würde die Laufwerke nur einzeln ansprechen, dann wäre die Gesamtbandbreite ja nicht gesättigt und die SSD könnte durchaus mit 550MB/s arbeiten. Wenn man die volle Bandbreite der Laufwerke will, kann man dann z.B. 8 HDDs aber nur 4 SSDs benutzen. Für 8 SSDs sollte man dann schon PCIe 3.0 8x oder PCIe 2.0 16x haben.

5. Muss es eigentlich von HP sein, oder kann ich mir auch z.B. den Broadcom 9207-8i SAS2308 6G SATA SAS HBA PCIe x8 Avago LSI 9217-8i RAID IT Mode holen?

Schwer zu sagen. Theoretisch geht technisch jeder, aber ist dann ja noch die Frage ob HP künstlich Hardware von anderen Herstellern verbietet.

 

[H4R0]

1€ usb stick mit clover würde es auch tun.

 

[Dunuin]

Clover sagt mir nichts und Google findet da auch nichts gescheites zu. Kannst du das erleutern?

 

[H4R0]

Clover sagt mir nichts und Google findet da auch nichts gescheites zu. Kannst du das erleutern?

Such nach "clover bootloader".

Clover bringt Treiber für SATA, SCSI, NVME etc.

Wird hauptsächlich für hackintosh und nvme bei legacy systemen benutzt.

Funktioniert aber für alles als boot chain, wenn das BIOS/UEFI es nicht unterstützt.

 

[ShinigamiLY]

Normalerweise sitzt der auf dem Mainbaord und ist dort intern per PCIe angebunden und liefert dir dann die SATA/SFF Buchsen. Würde mich wundern wenn es bei deinem Server anders wäre.

Du hast bei den LSI Raid Controllern (HP/Dell Raid Controller sind meist LSI Rebrandings) einen IR oder IT Mode. IR Mode nutzt Raid, IT Mode nutzt kein Raid. Je nachdem ob man also einen HW Raid oder ein HBA will flasht man dann die IT Mode oder IR Mode Firmware drauf.
Jeder HBA hat auch einen Controller. Wichtig ist da halt auch zu gucken, dass da der Controller Chipsatz vom Linux-Kernel unterstützt wird und Dinge wie "Passthrough" hängen wie du schon sagst halt auch vom Controller ab.

Wichtig ist auch wieviele PCIe Lanes der HBA elektrisch nutzt und welche PCIe Generation. Mein Dell PERC H310 hat z.B. PCIe 2.0 8x. Ist also in der Theorie mit maximal 4,0 GByte/s an die CPU angebunden. Dann hat PCIe aber noch Overhead, also kann man da noch gut 20% von abziehen und hat nur noch 3,2 GB/s. Die 3,2 GB/s müssen sich dann 8 Laufwerke teilen, hätte jedes Laufwerk also nur noch 400MB/s. Und dann hat SATA ja auch noch Overhead. Da kann man dann nochmal gut 25% abziehen. Und schon bekommt man da nicht mehr als 300MB/s zu den einzelnen Laufwerken. Und dann darf man ja auch nicht vergessen, dass da bei Raid ja immer alle Laufwerke gleichzeitig voll ausgelastet werden, die SSDs also dann auch wirklich schnell auf 300MB/s limitiert sind. Hätte man kein Raid und würde die Laufwerke nur einzeln ansprechen, dann wäre die Gesamtbandbreite ja nicht gesättigt und die SSD könnte durchaus mit 550MB/s arbeiten. Wenn man die volle Bandbreite der Laufwerke will, kann man dann z.B. 8 HDDs aber nur 4 SSDs benutzen. Für 8 SSDs sollte man dann schon PCIe 3.0 8x oder PCIe 2.0 16x haben.

Schwer zu sagen. Theoretisch geht technisch jeder, aber ist dann ja noch die Frage ob HP künstlich Hardware von anderen Herstellern verbietet.

Herzlichen Dank für die ausführliche Antwort. Dachte es endet wieder so, dass keiner Antwortet und ich wieder woanders suchen muss

Glücklicherweise verfügt mein Server (DL360p G8) über PCIe 3.0. Ich wollte mir anfangs den vorgeschlagenen HBA H220 Controller holen, jedoch habe ich einen anderen, der billiger und 12G ist gekauft. => HP Smart Array H240 8 Port 12G PCIe x8 SAS HBA Controller for HDD SSD IT-mode
Ist also schonmal von HP, mit meinem Gerät kompatibel, hat 12G und ist auch noch billiger.
Zusätzlich bräuchte ich extern noch eine für die 3.5 HDDs. Komischerweise sind irgendwie die astronomisch teuer... Da es mir nichts ausmacht die Kabeln einfach anders rauszuführen, habe ich gleich 2 davon bestellt und fertig.
Kombination also... 1x HP H240 für die internen Festplatten die an der Backplane angeschloßen sind, und 1x in dieser Kombi:

1x HP Smart Array H240 8 Port 12G PCIe x8 SAS HBA Controller for HDD SSD IT-mode
1x ICY BOX 4-Fach 3, 5 Zoll Backplane für 3X 5, 25 Zoll Schacht, SAS III 12 Gbit/S und SATA III 6 Gbit/S, Mini SAS HD Host, Lüfter 60610
1x CY Interne Mini SAS SFF-8087 zu Mini SAS High Density HD SFF-8643 Daten Server Festplatte Raid Kabel 50cm
1x 8Pin PCI Express zu 2 X PCIe 8 (6 + 2) -Pin & 6-Pin Motherboard-Grafikkarte PCI-e GPU VGA-Y-Splitter Hub-Stromkabel (4 Pack)
- Damit ich die ICY Box auch ans Strom mit nem Adapter den ich bereits daheim habe anschließen kann und keine externe Stromquelle brauche.

Da ich vorne rechts ein CD Laufwerk Schacht habe der nicht benutzt wird, führe ich die Kabeln da vorne raus. Somit kann ich die ICY Box direkt anschließen.
Habe ich da etwas vergessen und passt das alles so? Ist noch etwas schwer für mich mit dem Serverzeug.

Soo.. damit wir noch beim Thema bleiben...

Such nach "clover bootloader".

Clover bringt Treiber für SATA, SCSI, NVME etc.

Wird hauptsächlich für hackintosh und nvme bei legacy systemen benutzt.

Funktioniert aber für alles als boot chain, wenn das BIOS/UEFI es nicht unterstützt.

Clover bootloader... wenn das klappt, biste mein Hero.
Ich habe ihn damals für Hackintosh auch verwendet, hätte es aber nun mit meinem Problem nicht in Verbindung gebracht.
Auch wenn ich mir nun doch alle Hardwarelösungen bestellt habe, würde ich dennoch testen was es am Speed ausmacht wenn es per HPE Smart Array P420i Controller läuft. Werds testen und dann Bescheid geben sollte es klappen.

 

[ShinigamiLY]

Such nach "clover bootloader".

Clover bringt Treiber für SATA, SCSI, NVME etc.

Wird hauptsächlich für hackintosh und nvme bei legacy systemen benutzt.

Funktioniert aber für alles als boot chain, wenn das BIOS/UEFI es nicht unterstützt.

Mhm..
Ich habe nun verschiede Möglichkeiten getestet aber keines davon hat funktioniert um im Legacy Mode zu starten. Mein Server verfügt leider über kein UEFI und somit muss es so starten können. Leider geht es nicht.
Hab den Install Clover für MacOS benutzt und den Stick so erstellt etc.

Kannst du mir da weiterhelfen? EFI geht am Laptop, nur im Legacy nicht.

 

[ShinigamiLY]

Soo...
Ich habe nun alle möglichen Einstellungen getestet, sowie SD Card, USB, ohne, mit Festplatten, und und und.
Selbe auch für Clover.
Ich habe die Einstellungen gefunden und die laufen auch auf meinem Laptop in Legacy Mode, beim Server jedoch hängt es sich immer am Anfang dann auf. Sehe nur die Zahl 6 und dann blinkt es nur noch. Fährt aber nicht fort wie beim Laptop.
Somit... Leider no Chance

 

[ShinigamiLY]

Nun gut. Ich habe nun beide H240 erhalten. Anfangs wollte ich die SAS & SSDs an einem Controller haben und die HDDs (miniSAS extern) an dem Anderen.
Es ging auch alles super nur leider überschreibt mir das Bios ständig meine Bootreihenfolge weil er die H240 in unterschiedliche Reihenfolge analysiert. Vielleicht kann man im Bios die Priorität der PCIe Geräte einstellen wie sie gelesen werden etc.
Jedoch habe ich mich für die andere Variante entschieden.
SAS Disks an den Raid Controller der über nen Cache verfügt und vollkommen ausreicht fürs System. Raid 1 und EXT4.
H240 werden nur die SSDs angeschloßen als ZFS Raid10 und an die Andere die externen Festplatten (4x10TB IronWolf) die dann direkt an TrueNAS durchgereicht werden. Per ISCSI werde ich dann intern das an ProxMox anbinden damit ich Backups etc. da drauf noch machen kann etc. Die Festplatten sollen jedenfalls hauptsächlich für TrueNAS verwendet werden.
Passt also alles.

Danke dennoch allen für die Unterstützung.