PVE 6.0 & HPE MSA 2050 SAS

[Felix.]

Hi,

ich bin auf Arbeit auf ein kleines Problem gestoßen.
Wir haben ein MSA 2050 SAS ins Haus bekommen - jetzt möchte ich das Teil gerne als Storage für Proxmox nutzen.

Es handelt sich aktuell um einen einzigen Server, der auf den Storage zugreifen können soll.
Bisher verweigert sich die Kiste allerdings. Und ich habe Zweifel an der Hardware Konfiguration.

Testweise haben wir beide SAS Controller in den Server eingepflanzt - kann das schiefgehen?

Und die Hauptfrage: Wie kriegen wir den Storage ansprechbar durch Proxmox?
Im Moment ist ein RAID-6 Array angelegt, darauf ein Virtual Pool und ein entsprechendes Volume mit Mapping auf allen LUNs.

Vielleicht ist die Konfiguration auch verpatzt... wenn einer von euch so eine Kiste im Betrieb hat und mir da weiterhelfen könnte... wäre klasse.
Weitere Infos kann ich gerne bereitstellen, einfach schreien!

LG
Felix

 

[Felix.]

Ein kleines Update:

Wir haben noch ein paar Sachen ausprobiert.

- multipath-tools und multipath-tools-boot Pakete installiert, allerdings bislang keine Konfigurationsdatei angelegt
- einen der beiden SAS Controller ausgebaut um sicherzugehen, dass die Spielerei mit beiden Controllern in einem Host nicht dazwischen funkt

Leider ist noch immer kein Mapping vom Storage sichtbar.
Eventuell mache ich auch eher am Storage was falsch - würde ein Screenshot der Volume / Mapping Configs etc. helfen bzw. welche Informationen wären hilfreich zur Aufklärung?

LG
Felix

 

[Stoiko Ivanov]

Multipath und dessen config ist (leider) immer stark abhängig vom Target (SAN) - und erfahrungsgemäß kann es eine ziemliche Spielerei sein es zum laufen zu bekommen.

Schon unsere Wiki-Seite zu dem Thema durchgesehen? https://pve.proxmox.com/wiki/ISCSI_Multipath (die multipath-teile sollten unabhängig vom Transport sein (iSCSI, SAS))

Ansonsten - was steht im journal/dmesg zu multipath?
Das output von `multipath -ll` und `multipath -v3` kann auch hilfreich sein.

Ich hoffe das hilft!

 

[Stoiko Ivanov]

Kleiner Nachtrag: bei PVE6 (eigentlich bei Debian Buster, auf welchem PVE 6.x basiert) hat sich einiges an der Konfiguration von multipath geändert:
Ist relativ gut in https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=932307 beschrieben.

Danke @LnxBil fuer den Link!

 

[Felix.]

Schon unsere Wiki-Seite zu dem Thema durchgesehen? https://pve.proxmox.com/wiki/ISCSI_Multipath (die multipath-teile sollten unabhängig vom Transport sein (iSCSI, SAS))

Die Wiki-Seite hab ich mir schon mal angeschaut, dass ich das für SAS aber genauso gut anwenden kann, ist neu. Gut zu wissen.

Nach meinem Verständnis müsste ich ja wenigstens zwei einzelne Laufwerke, welche die zwei gemappten Pfade vom Storage darstellen sehen können.

Allerdings werden mir bislang gar keine Laufwerke, außer den lokalen Geräten, angezeigt.
Darum bin ich auch nicht 100% sicher, ob die Storage Konfiguration überhaupt hinhaut.

Bei "multipath -ll" kommt überhaupt nichts zurück bislang.

 

[Stoiko Ivanov]

Nach meinem Verständnis müsste ich ja wenigstens zwei einzelne Laufwerke, welche die zwei gemappten Pfade vom Storage darstellen sehen können

das stimmt soweit - also wenn im dmesg des hosts nichts aufscheint, was auf die Laufwerke hinweist (messages von sdX, normalerweise mit dem Storage Namen versehen), dann scheint das Problem noch woanders zu sein ...

Viel Glück!

 

[kunstlust]

Ist das LUN im SAS-Crontrollerbios zu sehen? Wird der Controllerper z.B. lspci|grep controller überhaupt angezeigt?

 

[Felix.]

Der Controller wird aufgelistet als SAS-3 Controller in Linux.
Die genaue Produktbeschreibung und die lspci Zeile kann ich gerne ranholen.

Wie gelange ich in das Controller BIOS?
Ich sehe beim Hochfahren zwar ein paar neue Zeilen, jedoch keine Möglichkeit in das BIOS der Karte zu springen.

 

[kunstlust]

Sorry, das es gedauert hat. Du kannst per F10 in das Provisioning kommen, falls es kein HP Controller ist, kannst du nach einer Zeit der Biosmeldungen eine Taste drücken um die POST Meldungen zu sehen, dort sollte der Controller zu sehen sein. Meist ist es F8 oder so um ins Bios des Controller zu kommen, steht da aber auch immer.

Was sagt eigentlich fdisk -l ?

 

[fireon]

Hallo, wir haben auch einige SAN's von HP mit Proxmox und Multipath im Einsatz. Die Config muss exakt stimmen, sonst gehts entweder garnicht, oder es läuft was schief, und dafür explodiert das Gespann später. Wir konnten bis jetzt alles SAN's mit Hilfe von der RedHat Enterprisedoku zum Laufen bringen. Die haben dafür ne Config. Einfach ne Subscription für ein Redhat Desktop kaufen, kostet 55 Dollar. Dann kannst die ganze Enterprisedoku nutzen, und die ist richtig genial!

 

[kunstlust]

Hallo, wir haben auch einige SAN's von HP mit Proxmox und Multipath im Einsatz. Die Config muss exakt stimmen, sonst gehts entweder garnicht, oder es läuft was schief, und dafür explodiert das Gespann später. Wir konnten bis jetzt alles SAN's mit Hilfe von der RedHat Enterprisedoku zum Laufen bringen. Die haben dafür ne Config. Einfach ne Subscription für ein Redhat Desktop kaufen, kostet 55 Dollar. Dann kannst die ganze Enterprisedoku nutzen, und die ist richtig genial!

Es wäre schön, die Config mal zu sehen um mal eine Vorstellung zu bekommen, wie es gelöst worden ist.

 

[fireon]

# Modified by https://access.redhat.com/labs/multipathhelper/#/ v1.3.5

defaults {
    find_multipaths yes
    user_friendly_names yes
}

blacklist {
       wwid SAMSUNG_SSD_830_Series_S0VXNEAC702550
}

devices {
        device {
                vendor "HP"
                product "MSA2[02]12fc|MSA2012i"
                path_grouping_policy "multibus"
                path_checker "tur"
                features "0"
                hardware_handler "0"
                prio "const"
                failback "immediate"
                rr_weight "uniform"
                no_path_retry "18"
                rr_min_io "100"
        }
}

 

[cpzengel]

habt ihr inzwischen das multipath hinbekommen?
würde sonst 2 raids mit 2 volumes für zwei hosts aufsetzen und diese mit zfs formatieren