[SOLVED] Braodcom / Lsi SAS2008 aktivieren in Proxmox?

R

Renegade33

Member
Aug 29, 2023
112
2
18
Bavaria - Germany
Mahlzeit.

So Server ist nun im richtigen Gehäuse und im Schrank verbaut. Alles verkabelt und läuft soweit auch dank eurer Hilfe richtig fein.
Jetzt habe ich meinen SAS2008 eingesetzt und die SAS Platten angeschlossen. Der Controller wird auch erkannt.

lspci
Code: 
root@pve-1:~# lspci -v | grep -i SAS
02:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 02)
        Kernel driver in use: mpt3sas
        Kernel modules: mpt3sas

Aber wie bekomme ich es jetzt hin, dass mir die Platten auch angezeigt werden bzw. das Dingens aktiviert wird?

mfG
Rene
 
könnte ein problem mit den kabeln, backplane oder platten sein.
wie hast du denn die platten an den hba angeschlossen?
falls der hba ein bootrom hat, könntest du testen ob der hba selbst die platten sieht, oder ob er meldet, das nichts angeschlossen ist.
 
beisser said:
könnte ein problem mit den kabeln, backplane oder platten sein.
wie hast du denn die platten an den hba angeschlossen?
falls der hba ein bootrom hat, könntest du testen ob der hba selbst die platten sieht, oder ob er meldet, das nichts angeschlossen ist.
Click to expand...

Kabel und Controller hab ich gebraucht gekauft. laut Vorbesitzer lief es bei ihm im IT-Mode, gab dann nur ein Problem nach dem BIOS-Update des Mainboard und er hat einen SAS3008 eingesetzt.
Die Platten sind in den Tray-Boxen, welche an meinem RAID-Controller bis vor 3 Tagen auch gelaufen sind. Die Trays sind per SFF8087 Kabel am HBA angeschlossen. LEDs an den Trays laufen auch an, bei den Buchten, in denen Platten sitzen.
Beim Booten kommt leider mit dem SAS2008 keine Anzeige, dass man CTRL+C drücken soll, da kommt der Post und dann direkt das Proxmox Boot-Menü.
Gibt es irgendeine Möglichkeit im Proxmox abzufragen per shell? Sowas wie megacli oder so?
 
megacli geht meines wissens nach nur im raid mode.

was listet er dir denn bei lsblk auf? kannst auch mal im dmesg nachsehen ob er irgendwelche scsi-devices dort auflistet.

du könntest dem sas hba natürlich auch ein bootrom flashen (gibts sowohl für bios mode als auch uefi).
das verlängert allerdings die bootzeiten merklich, da das rom nach den ganzen platten scannt.

guides für das flashen des bootroms für sas2008 gibts zur genüge im internet (gleich mit den passenden dateien als archiv).
ist allerdings alles auf eigenes risiko.
es besteht immer die chance, dass du dir den controller dabei ruinierst.

ich benutze zum beispiel oft den guide von fodeesha: https://fohdeesha.com/docs/H310.html

für dich wäre hier nur der part relevant mit den bootroms (hierzu musst du mit seine linux-iso booten).
 
beisser said:
megacli geht meines wissens nach nur im raid mode.

was listet er dir denn bei lsblk auf? kannst auch mal im dmesg nachsehen ob er irgendwelche scsi-devices dort auflistet.

du könntest dem sas hba natürlich auch ein bootrom flashen (gibts sowohl für bios mode als auch uefi).
das verlängert allerdings die bootzeiten merklich, da das rom nach den ganzen platten scannt.

guides für das flashen des bootroms für sas2008 gibts zur genüge im internet (gleich mit den passenden dateien als archiv).
ist allerdings alles auf eigenes risiko.
es besteht immer die chance, dass du dir den controller dabei ruinierst.
Click to expand...

OK, das wusste ich noch nicht. Hatte ja die Hoffnung irgendwas in der Art gibt es da auch.

lsblk gibt mir keine SCSI Devices aus. Nur die, die auch in der Gui zu sehen sind.

Er lief ja in einem Freenas/Truenas im IT-mode. Hab extra geschaut, dass nix zum flashen ist. Da ist mir das Risiko zu hoch.

sb-jw said:
Mit sas2ircu sollte man auch einen HBA abfragen können. Ich habe jetzt keine Quelle mehr bei Broadcom gefunden, nur bei IBM (was aber dennoch funktionieren sollte): https://www.ibm.com/support/pages/c...torage-management-v18000000-linux-ibm-systems

Was hast du für Festplatten im Einsatz?
Click to expand...

Werd ich mir gleich mal ansehen.
HDD sind HP SAS Platten mit 3TB. Genauen Typ müsste ich nachschauen.
 
beisser said:
was listet er dir denn bei lsblk auf? kannst auch mal im dmesg nachsehen ob er irgendwelche scsi-devices dort auflistet.
Click to expand...

dmesg:
Code: 
root@pve-1:~# dmesg |grep scsi
[    3.301432] scsi host1: ahci
[    3.301626] scsi host2: ahci
[    3.301827] scsi host3: ahci
[    3.302004] scsi host4: ahci
[    3.302078] scsi host5: ahci
[    3.302144] scsi host6: ahci
[    3.302215] scsi host7: ahci
[    3.302292] scsi host8: ahci
[    3.383437] scsi host0: Fusion MPT SAS Host
[    3.621956] scsi: waiting for bus probes to complete ...
[   11.069135] scsi 1:0:0:0: Direct-Access     ATA      SAMSUNG MZ7LH480 B04Q PQ: 0 ANSI: 5
[   11.069452] sd 1:0:0:0: Attached scsi generic sg0 type 0
[   11.069560] scsi 2:0:0:0: Direct-Access     ATA      ST3000DM007-1WY1 0001 PQ: 0 ANSI: 5
[   11.069810] sd 2:0:0:0: Attached scsi generic sg1 type 0
[   11.069915] scsi 3:0:0:0: Direct-Access     ATA      SAMSUNG MZ7LH480 904Q PQ: 0 ANSI: 5
[   11.070061] sd 3:0:0:0: Attached scsi generic sg2 type 0
[   11.070129] scsi 4:0:0:0: Direct-Access     ATA      WDC WD10EADS-00L 1A01 PQ: 0 ANSI: 5
[   11.070300] sd 4:0:0:0: Attached scsi generic sg3 type 0
[   11.075462] scsi 7:0:0:0: CD-ROM            TSSTcorp CDDVDW SN-S083F  SB01 PQ: 0 ANSI: 5
[   11.165836] sr 7:0:0:0: [sr0] scsi3-mmc drive: 24x/24x writer dvd-ram cd/rw xa/form2 cdda tray
[   11.199082] sr 7:0:0:0: Attached scsi CD-ROM sr0
[   11.199195] sr 7:0:0:0: Attached scsi generic sg4 type 5

Da sind meine 2 Samsung SSD, die WD, die Seagate, das DVD-LW und host0 müsste die Karte sein.
 
So mit sas2ircu bekomme ich folgendes raus
Code: 
root@pve-1:~/sas2ircu_linux_x86_rel# ./sas2ircu list
LSI Corporation SAS2 IR Configuration Utility.
Version 18.00.00.00 (2013.11.18)
Copyright (c) 2009-2013 LSI Corporation. All rights reserved.


         Adapter      Vendor  Device                       SubSys  SubSys
 Index    Type          ID      ID    Pci Address          Ven ID  Dev ID
 -----  ------------  ------  ------  -----------------    ------  ------
   0     SAS2008     1000h    72h   00h:02h:00h:00h      1000h   3020h
SAS2IRCU: Utility Completed Successfully.
root@pve-1:~/sas2ircu_linux_x86_rel# ./sas2ircu 0 display
LSI Corporation SAS2 IR Configuration Utility.
Version 18.00.00.00 (2013.11.18)
Copyright (c) 2009-2013 LSI Corporation. All rights reserved.

Read configuration has been initiated for controller 0
------------------------------------------------------------------------
Controller information
------------------------------------------------------------------------
  Controller type                         : SAS2008
  BIOS version                            : 7.39.02.00
  Firmware version                        : 20.00.07.00
  Channel description                     : 1 Serial Attached SCSI
  Initiator ID                            : 0
  Maximum physical devices                : 255
  Concurrent commands supported           : 3432
  Slot                                    : 19
  Segment                                 : 0
  Bus                                     : 2
  Device                                  : 0
  Function                                : 0
  RAID Support                            : No
------------------------------------------------------------------------
IR Volume information
------------------------------------------------------------------------
------------------------------------------------------------------------
Physical device information
------------------------------------------------------------------------
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
  Enclosure#                              : 1
  Logical ID                              : 500605b0:02099060
  Numslots                                : 8
  StartSlot                               : 0
------------------------------------------------------------------------
SAS2IRCU: Command DISPLAY Completed Successfully.
SAS2IRCU: Utility Completed Successfully.
root@pve-1:~/sas2ircu_linux_x86_rel# ./sas2ircu 0 status
LSI Corporation SAS2 IR Configuration Utility.
Version 18.00.00.00 (2013.11.18)
Copyright (c) 2009-2013 LSI Corporation. All rights reserved.

SAS2IRCU: The STATUS command is not supported by the firmware currently loaded on controller 0.
root@pve-1:~/sas2ircu_linux_x86_rel#

Kann mir das wer dolmetschen, ob man hierbei einen Fehler erkennt? Enclosure hab ich 2 a 4 Platten, aber aktuell nur eines bestückt.
 
Last edited:
im dmesg sind die laufwerke also sichtbar, aber nicht via lsblk?
das ist seltsam.
ich hab im lab auf arbeit mehrere sas2008 controller laufen, allerdings immer mit backplane, nie mit breakout-kabeln, von daher kann ich hier nichts sinnvolles beitragen.
hast du die möglichkeit ein anderes kabel zu testen?
 
beisser said:
im dmesg sind die laufwerke also sichtbar, aber nicht via lsblk?
Click to expand...
Nein, die Laufwerke sind nicht sichtbar. Er sagte ja, dass er 3 TB SAS Platten dran hat, in dmesg sind nur SATA Platten zu sehen.
 
moment mal. das macht sinn. breakout kabel geben dir nur sata datenanschlüsse. die bekommste an ne sas-platte normalerweise gar nicht dran, da der steckverbinder an einer sas-platte durchgehend ist (daten und power) und nicht unterbrochen, wie bei einer sata-platte.
irgendwas ist hier komisch.

ich habe nochmal eine frage. welche kabel verwendest du genau?
sind das sff8087 zu sff8087 kabel?
also im prinzip jeder tray hat ne eigene scsi backplane?
oder sind das breakoutkabel mit sff8087 auf der controller-seite und 4 sata-anschlüssen auf der anderen seite?

hast du evtl eine typenbezeichnung für die trays?
 
sb-jw said:
Es gab hier bereits letztens schon einen Thread, wo der TO offensichtlich Probleme mit 4K bzw. 512e hatte (https://www.broadcom.com/support/kn...k---512e-disk-drive-support-on-lsi-raid-contr).
Der Thread: https://forum.proxmox.com/threads/hba-card-borked-or-am-i-an-idiot.140970/

Ansonsten würde ich mich da @beisser anschließen und sagen, dass deine Kabel die falschen sind. Du brauchst vermutlich auch Forward Breakout Kabel und könntest aktuell Reverse Breakout haben.
Click to expand...

Ich habe keine Breakout Kabel dran. sind Sff8087 auf Sff8087 auf die Backplane der 4bay Enclosures von Chenbro.
Die Platten sind ca. 5 Jahre alte SAS, liefen aber nicht viel. Auf meinem alten Raidcontroller von Adaptec liefen die einwandfrei allerdings mit sff8087 auf Mini-sas Kabeln. Das Gehäuse, die HDDs ist alles gleich. Nur MB und der SAS-Controller wurden getauscht. Der alte ist ein Adaptec ASR 71605.

Was mir halt schon seltsam vorkommt, dass ich beim Booten auch keine Anzeige der Karte bekomme. Kenne das von meinen Raid-Controllern, dass nach dem BIOS Post immer so eine Anzeige der Karte kam, mit Möglichkeit, ins Setup der Karte zu kommen. Bei dieser aber nicht. Darum habe ich auch noch keine Möglichkeit gefunden, mir anzusehen, ob die Karte die Laufwerke erkennt. Das Enclosure wird ja anscheinend erkannt, aber Platten scheinen nur im IR mode gefunden zu werden über sas2ircu.
 
die anzeige der karte kommt nur, wenn ein bootrom geflasht wurde.
wird das nicht gemacht funktioniert die karte nach wie vor, aber es kommen keine meldungen beim POST.

ich würd mir diese Chenbro Enclosures ansehen, hast du da evtl einen Link dafür?
 
beisser said:
die anzeige der karte kommt nur, wenn ein bootrom geflasht wurde.
wird das nicht gemacht funktioniert die karte nach wie vor, aber es kommen keine meldungen beim POST.
Click to expand...

Wie stellt man denn ohne das Menü die Karte ein? hab nur für IR shell Befehle gefunden.
Ist es dann sinnvoll auf ein Bootrom zu flashen?

beisser said:
ich würd mir diese Chenbro Enclosures ansehen, hast du da evtl einen Link dafür?
Click to expand...
Müsste das Ding hier sein. https://docplayer.net/9870759-Chenb...-80h10331404a0-user-s-manual-sep-30-2010.html
 
Ich habe auch schon mal über Probleme mit dem SAS2008 und dem aktuellen Kernel gehört. Kannst du mal testweise einen älteren Kernel booten um das zu prüfen?
 
Hallo,

ich meine, dass deine Bios-Einstellung geändert werden muss.
Ich habe zwar einen LSI 2308 aber ich kenne es von allen Controllern die ich bisher verwendet habe, dass sich nach dem Bios-Screen der Screen des Controller zeigt.
Beim LSI 2308 werden in diesem Moment auch erst die SAS-Turbinen hochgefahren und erkannt.

Schaue mal in deinem Mainboard Bios nach einer Option mit "ROM Priority", irgendwo bei den PCI Optionen. Bei Supermicro heißt es "Launch Storage OpROM Policy". Die muss (zumindest bei mir) auf "Legacy" stehen, damit der Controller überhaupt gestartet wird.

Viele Grüßen
Detlef Paschke
 
@Detlef Paschke Er hat kein OpROM auf der Karte, somit kann das BIOS auch keins laden.

Das macht man oft so bei IT-Mode HBA's um die Bootzeit erheblich zu verkürzen (das OpROM kann dir je nach Anzahl der Platten und HBA's den Bootvorgang um ne Minute oder 2 verlängern).
Beim IT-Mode macht das OpROM meistens ja auch keinen Sinn (der HBA hat ja keine Raid-Funktionalität mehr).

Tut der Funktionalität keinen Abbruch, ist nur beim Troubleshooten unpraktisch und man kann nicht von dem HBA booten.
Hat mich noch nie gestört.
Bootdatenträger hängen am Onboard-Sata bei mir.
 
You must log in or register to reply here.
Top Bottom