ISCSI multipath not working

Discussion in 'Proxmox VE: Installation and configuration' started by zaichegk, Apr 20, 2019.

  1. zaichegk

    zaichegk New Member

    Joined:
    Apr 19, 2019
    Messages:
    3
    Likes Received:
    0
    Здравствуйте! ISCSI. Все построено по схеме:
    upload_2019-4-23_10-52-6.png
    при добавлении новой цели в proxmox (5.4). Хранилище становится недоступным, хотя второй интерфейс активен.
    Переход на новые пути не происходит!

    До выключения:
    md3600i (3690bXXXXXXXXXXXXXXX72) dm-5 DELL, MD36xxi
    size = 2.0T features = '4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler = '1 rdac' wp = rw
    | - + - policy = 'round-robin 0' prio = 14 status = active
    | | - 10: 0: 0: 0 SDD 8:48 активно готов к работе
    | `- 9: 0: 0: 0 SDC 8:32 активно готов к работе
    `- + - policy = 'round-robin 0' prio = 9 статус = включено
    | - 11: 0: 0: 0 sdf 8:80 активно готов к работе
    `- 8: 0: 0: 0 и 8:64 активно готов к работе
    После выключения:
    md3600i (3690bXXXXXXXXXXXXXXX72) dm-5 DELL, MD36xxi
    size = 2.0T features = '4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler = '1 rdac' wp = rw
    | - + - policy = 'round-robin 0' prio = 14 status = active
    | | - 10: 0: 0: 0 SDD 8:48 активно готов к работе
    | `- 9: 0: 0: 0 SDC 8:32 Сбой при неправильной работе
    `- + - policy = 'round-robin 0' prio = 9 статус = включено
    | - 11: 0: 0: 0 sdf 8:80 активно готов к работе
    `- 8: 0: 0: 0 sde 8:64 сбой неправильный запуск

    Интересная заметка!
    Это происходит, если при добавлении хранилища указан портал от 10.208.27.0/25, и мы отключили порт из той же сети. Портал от 10.208.27.128/25 и уже отключен порт из этой сети.

    Журнал dmesg:
    [68105.490806] tg3 0000: 02: 00.0 eno3: связь не работает
    [68112.281592] connection31: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4311918144, последний ping 4311919424, теперь 4311920704
    [68112.281599] connection32: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4311918144, последний ping 4311919424, теперь 4311920704
    [68112.281622] соединение 32: 0: обнаружена ошибка соединения (1022)
    [68112.290352] connection31: 0: обнаружена ошибка соединения (1022)
    [68117.401571] session31: время восстановления сеанса истекло через 5 секунд
    [68117.401583] session32: время восстановления сеанса истекло через 5 секунд
    [68117.401590] SD 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
    [68117.403829] SD 9: 0: 0: 0: [SDC] запрос на убийство
    [68117.403838] SD 9: 0: 0: 0: отклонение ввода-вывода на автономное устройство
    [68117.406128] SD 9: 0: 0: 0: [SDC] FAILED Результат: hostbyte = DID_NO_CONNECT driverbyte = DRIVER_OK
    [68117.406135] SD 9: 0: 0: 0: [SDC] CDB: чтение (16) 88 00 00 00 00 00 ff ff ff 80 00 00 00 08 00 00
    [68117.406139] print_req_error: ошибка ввода / вывода, dev sdc, сектор 4294967168
    [68117.406431] device-mapper: multipath: Failing path 8:32.
    [68117.409436] device-mapper: multipath: Failing path 8:64.

    Syslog:
    22 апреля 08:12:40 ядро pve-node1: [231884.131857] tg3 0000: 02: 00.0 eno3: связь не работает
    22 апреля 08:12:45 ядро pve-node1: [231889.646149] connection31: 0: истекло время ожидания ping 5 секунд, время ожидания recv 5, последний rx 4352863275, последний ping 4352864576, теперь 4352865856
    22 апреля 08:12:45 ядро pve-node1: [231889.650636] connection31: 0: обнаружена ошибка conn (1022)
    22 апреля 08:12:45 pve-node1 iscsid: ядро отображает состояние соединения 31: 0 iSCSI: ошибка (1022 - неверный или неизвестный код ошибки) (3)
    22 апреля 08:12:47 ядро pve-node1: [231891.182133] connection32: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4352863694, последний пинг 4352864952, теперь 4352866240
    22 апреля 08:12:47 ядро pve-node1: [231891.186623] connection32: 0: обнаружена ошибка conn (1022)
    22 апреля 08:12:47 pve-node1 iscsid: ядро сообщает о состоянии iSCSI-соединения 32: 0 ошибка (1022 - неверный или неизвестный код ошибки) (3)
    22 апреля 08:12:50 ядро pve-node1: [231894.766070] session31: время восстановления сеанса истекло через 5 секунд
    22 апреля, 08:12:52 pve-node1 multipathd [21232]: проверяющий сбойный путь 8:64 в карте md3600i
    22 апреля 08:12:52 pve-node1 multipathd [21232]: md3600i: оставшиеся активные пути: 3
    22 апреля 08:12:52 ядро pve-node1: [231896.004483] device-mapper: multipath: путь ошибки 8:64.
    22 апреля 08:12:52 ядро pve-node1: [231896.302051] session32: время восстановления сеанса истекло через 5 секунд
    22 апреля 08:12:52 ядро pve-node1: [231896.302070] sd 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
    22 апреля 08:12:52 ядро pve-node1: [231896.304407] SD 9: 0: 0: 0: [sdc] запрос на убийство
    22 апреля 08:12:52 ядро pve-node1: [231896.304413] sd 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
    22 апреля 08:12:52 ядро pve-node1: [231896.304479] SD 9: 0: 0: 0: [sdc] FAILED Результат: hostbyte = DID_NO_CONNECT driverbyte = DRIVER_OK
    22 апреля 08:12:52 ядро pve-node1: [231896.304487] SD 9: 0: 0: 0: [sdc] CDB: чтение (16) 88 00 00 00 00 00 ff ff ff 80 00 00 00 08 00 00
    22 апреля 08:12:52 ядро pve-node1: [231896.304491] print_req_error: ошибка ввода-вывода, dev sdc, сектор 4294967168
    22 апреля 08:12:52 ядро pve-node1: [231896.308871] device-mapper: multipath: Failing path 8:32.
    22 апреля 08:12:53 pve-node1 multipathd [21232]: sdc: пометить как сбойный
    22 апреля 08:12:53 pve-node1 multipathd [21232]: md3600i: оставшиеся активные пути: 2
    22 апреля 08:12:54 pve-node1 pvestatd [2588]: хранилище 'Dell_MD3600i' не подключено
    22 апреля 08:12:54 pve-node1 pvestatd [2588]: время обновления статуса (9 171 секунда)
    22 апреля 08:12:57 pve-node1 pvestatd [2588]: хранилище 'Dell_MD3600i' не подключено

    multipath.conf
    по умолчанию {
    polling_interval 5
    path_selector "Round-Robin 0"
    path_grouping_policy multibus
    getuid_callout "/ lib / udev / scsi_id -g -u -d / dev /% n"
    uid_attribute ID_SERIAL
    rr_min_io 100
    немедленное восстановление
    no_path_retry 4
    max_fds 8192
    user_friendly_names нет
    fast_io_fail_tmo 5
    flush_on_last_del да
    }
    черный список {
    wwid. *
    }
    blacklist_exceptions {
    wwid 3690bXXXXXXXXXXXXXXXXXXXXX72

    }
    устройства {
    устройство {
    продавец "DELL"
    продукт "MD36xxi"
    path_grouping_policy group_by_prio
    Природак
    path_checker rdac
    path_selector "Round-Robin 0"
    hardware_handler "1 rdac"
    немедленное восстановление
    функции "2 pg_init_retries 50"
    no_path_retry 4
    rr_min_io 100
    }
    }
    многолучевость {
    многолучевость {
    wwid 3690bXXXXXXXXXXXXXXXXXXXXX72
    псевдоним md3600i
    }
    }

    / и т.д. / модули
    scsi_dh_rdac
     

    Attached Files:

    #1 zaichegk, Apr 20, 2019
    Last edited: Apr 23, 2019
  2. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,598
    Likes Received:
    306
    Hi,

    your Network schema shows that you use two times the same IP "10.208.27.10" on two different nodes.
    Is this a typo or a misconfiguration?
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  3. zaichegk

    zaichegk New Member

    Joined:
    Apr 19, 2019
    Messages:
    3
    Likes Received:
    0
    Thanks, this is really a typo, I corrected
     
  4. zaichegk

    zaichegk New Member

    Joined:
    Apr 19, 2019
    Messages:
    3
    Likes Received:
    0
    Error resolved with a workaround. I connected the storage without using WEB, but registered manually
    using:

    iscsiadm -m node -l -T <target name> -p 10.208.27.X

    Further:
    pvcreate / dev / mapper / storage
    vgcreate iscsi_mp_storage / dev / mapper / storage
    Log back into PVE web GUI
    Datacenter | Sorage | Add | Lvm
    a) ID: myStorage
    b) Volume Group: iscsi_mp_storage

    Apparently, the mechanism for adding ISCSI storage via WEB in Proxmox 5.4 does not work quite correctly.
    Perhaps, after specifying an IP Portal, the IP addresses of all targets should appear in the Target field, and not the same as I had.
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice