LVM bleibt im Status unknown

[FraWo]

Hallo Forum,
ich bin ganz neu im Thema Proxmox und versuche gerade einen Weg zu finden unsere vSphere Umgebung los zu werden.

Unsere Umgebung besteht zur Zeit aus 3 Proliant DL380 Gen9 und einer MSA 2050 ISCSI mit 10G Ethernet Anbindung.
Die MSA hat 2 Controller mit jeweils 4 ISCSI Anschlüssen.
Ich habe jetzt einen weiteren baugleichen DL 380 mit PVE installiert um zu testen in wie weit wir unsere bestehende Hardware weiterverwenden können.

Jetzt zu dem Problem auf das ich gestoßen bin und bis jetzt noch keinen Lösungsweg im Netz gefunden habe.

Auf der MSA habe ich für den PVE Host 2 Volume erstellt und seinen Initiator zugewiesen.
Auf dem PVE habe ich die Multipath Tools installiert.
Im Rechenzentrum konnte ich die ISCSI Verbindung herstellen.
Wenn ich jetzt versuche LVM auf die LUN zu erstellen, werden mir beide Test LUN mit ihrer Größe von je 1TB angezeigt.
Der Task zur Erstellung des LVM wird ohne Fehler durchgeführt, jedoch bleiben sie im Status unknown.

auf der Konsole des PVE Hosts wird nach einiger Zeit der Fehler
"I/O error, dev sdr, sector 0 op 0x0: (READ) flags 0x0 phys_seg 32 prio class 2"
8 mal angezeigt. Die 8 mal kann ich mir nur durch multipath (PVE 2 Anschlüsse und MSA 4 Anschlüsse) erklären.

Zum gegen Test habe ich auf einem QNAP NAS einmal eine ISCSI LUN erstellt, diese konnte ich ebenfalls ohne Probleme in PVE einbinden. Auf dieser LUN konnte ich auch ein LVM erstellen und für virtuelle Maschinen nutzen.

Wie bekomme ich die MSA eingebunden?

Vielen Dank im Voraus für eure Hilfe.

Gruß
Frank

 

[Falk R.]

Hi, wenn du multipath nutzt, musst du das Multipath Device als LVM einbinden. Ich weiß nicht ob man das mit Multipath Devices auch in der GUI hinbekommt. Ich habe das immer per CLI gemacht.

 

[FraWo]

Hi, das habe ich ja über die GUI versucht und er beginnt ja auch damit. Links in der Übersicht des Storage erschein auch das LVM aber es bleibt im Status unknown. OK. über die CLI wäre der nächste Versuch, da muss ich viel lesen denn wie gesagt ich bin "unbefleckt" was Proxmox und auch Linux angeht. Meine Linux Kenntnisse erschöpfen sich nach dem Thema Vergabe einer IP und Installation von Updates.
Danke für einen neuen Denkansatz.

Gruß
Frank

 

[Falk R.]

Welches Device hast du in der GUI ausgewählt wo jetzt das LVM drauf ist?
Ist das z.B. sdb oder mp0?

 

[FraWo]

Ich habe als Basis-Storage das ISCI und als Basis-Volume die LUN 0 oder auch die LUN 1 gewählt.

 

[FraWo]

Fehler gefunden.
mir fehlte die /etc/multipath.conf
diese habe ich mit folgendem Inhalt erstellt:

defaults {
    user_friendly_names yes
    find_multipaths yes
    polling_interval 10
    rr_min_io_rq 100
    flush_on_last_del no
    max_fds "max"
    queue_without_daemon no
}

blacklist {
    wwid .*
}

blacklist_exceptions {
    # use the same wwid from prev steps
    wwid "3600c0ff0003ca292137bf96501000000"
    wwid "3600c0ff0003c648b157bf96501000000"
}

devices {
        device {
                vendor "HPE"
                product "MSA 2050 SAN"
                path_grouping_policy "group_by_prio"
                path_checker "tur"
        path_selector "round-robin 0"
                features "0"
        failback "immediate"
                hardware_handler "0"
                prio "alua"
                rr_weight "uniform"
                no_path_retry "18"
                rr_min_io_rq "1"
        uid_attribute "ID_SERIAL"
        }
}

multipaths {
    multipath {
        wwid  3600c0ff0003ca292137bf96501000000
        alias  MSA1A01
  }
    multipath {
        wwid  3600c0ff0003c648b157bf96501000000
        alias  MSA1B01
  }
}

die wwid konnte ich mit Hilfe des Befehls "multipath -v3" auslesen und nach einem Neustart des Service "systemctl restart multipath-tools.service"
konnte ich das LVM auf den LUN´s erstellen.

Gruß
Frank

 

[Falk R.]

Ich hoffe du nutzt jetzt das Multipath Device und nicht die LUN direkt wie im Screenshot.

 

[FraWo]

Moin,
das verstehe ich leider nicht, denn alles was ich bisher dazu gefunden habe ist das ich erst ein ISCSI hinzufüge und dann darauf das LVM setze.
Dabei muss ich doch die LUN auswählen. Oder habe ich hier etwas falsch verstanden oder übersehe ich etwas?

Gruß
Frank

 

[Falk R.]

Mach mal auf der CLI multipath -l, dann verstehst du eventuell besser den Aufbau.
Du hast eine LUN mit 4 Pfaden. Die Pfade werden als einzelne Devices erkannt, z. B. sda,sdb,sdc,sdd.
Multipath macht aus den 4 Devices ein Multipath device mp0 = Pfade zu sda-sdd.
Für dein LVM musst du dann das device mp0 auswählen.

ESXi macht eigentlich das gleiche, aber versteckt einfach viele Informationen in der GUI und Microsoft zeigt im Gerätemanager nur die Multipathgeräte an und blendet die einzelnen Devices aus. Nur Linux zeigt dir halt alles an was vorhanden ist.
Wenn du die "LUN" auswählst, ist das nur ein Pfad z.B. sdb und wenn der wegfällt verlierst du die Verbindung. Nutzt du das Multipath Device funktioniert alles wie gewollt.

 

[FraWo]

Multipath versteh ich schon soweit, ESXi hat mir auch immer alle Pfade gezeigt nur musste ich dort keine Config schreiben.
Ich erhalte folgende Ausgabe nach multipath -l


Ist dann das anzusprechende Device mpatha und mpathb ?
nur kann ich das nirgendwo auswählen um ein LVM zu erstellen.

Gruß
Frank

 

[Falk R.]

Du hast sogar 8 Pfade pro LUN. Das ist das Maximum was HPE Supportet. 4 Pfade reichen ja in der Regel.

Ja du musst mpatha und mpathb nutzen. Dann nutzt du das Multipath Device.

 

[FraWo]

Danke für deine Hilfe.
ich habe gerade nochmal mit 2 weiteren LUN getestet, um die mpathx zu verwenden muss ich das LVM einmal über die LUN einbinden und dabei eine Volumengruppe erstellen. Danach kann ich das LVM wieder löschen und ein neues hinzufügen mit dem mpathx.
Zumindest habe ich über die GUI keine andere Möglichkeit gefunden.
In der shell mit multipath -l waren mpathc und mpathd schon zu sehen nur in der GUI nicht.
Also werde ich mir die Befehle für die Shell noch suchen müssen um diesen Umweg zu verhindern.

Gruß
Frank