ISCSI multipath not working

[zaichegk]

Здравствуйте! ISCSI. Все построено по схеме:

при добавлении новой цели в proxmox (5.4). Хранилище становится недоступным, хотя второй интерфейс активен.
Переход на новые пути не происходит!

До выключения:
md3600i (3690bXXXXXXXXXXXXXXX72) dm-5 DELL, MD36xxi
size = 2.0T features = '4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler = '1 rdac' wp = rw
| - + - policy = 'round-robin 0' prio = 14 status = active
| | - 10: 0: 0: 0 SDD 8:48 активно готов к работе
| `- 9: 0: 0: 0 SDC 8:32 активно готов к работе
`- + - policy = 'round-robin 0' prio = 9 статус = включено
| - 11: 0: 0: 0 sdf 8:80 активно готов к работе
`- 8: 0: 0: 0 и 8:64 активно готов к работе
После выключения:
md3600i (3690bXXXXXXXXXXXXXXX72) dm-5 DELL, MD36xxi
size = 2.0T features = '4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler = '1 rdac' wp = rw
| - + - policy = 'round-robin 0' prio = 14 status = active
| | - 10: 0: 0: 0 SDD 8:48 активно готов к работе
| `- 9: 0: 0: 0 SDC 8:32 Сбой при неправильной работе
`- + - policy = 'round-robin 0' prio = 9 статус = включено
| - 11: 0: 0: 0 sdf 8:80 активно готов к работе
`- 8: 0: 0: 0 sde 8:64 сбой неправильный запуск

Интересная заметка!
Это происходит, если при добавлении хранилища указан портал от 10.208.27.0/25, и мы отключили порт из той же сети. Портал от 10.208.27.128/25 и уже отключен порт из этой сети.

Журнал dmesg:
[68105.490806] tg3 0000: 02: 00.0 eno3: связь не работает
[68112.281592] connection31: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4311918144, последний ping 4311919424, теперь 4311920704
[68112.281599] connection32: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4311918144, последний ping 4311919424, теперь 4311920704
[68112.281622] соединение 32: 0: обнаружена ошибка соединения (1022)
[68112.290352] connection31: 0: обнаружена ошибка соединения (1022)
[68117.401571] session31: время восстановления сеанса истекло через 5 секунд
[68117.401583] session32: время восстановления сеанса истекло через 5 секунд
[68117.401590] SD 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
[68117.403829] SD 9: 0: 0: 0: [SDC] запрос на убийство
[68117.403838] SD 9: 0: 0: 0: отклонение ввода-вывода на автономное устройство
[68117.406128] SD 9: 0: 0: 0: [SDC] FAILED Результат: hostbyte = DID_NO_CONNECT driverbyte = DRIVER_OK
[68117.406135] SD 9: 0: 0: 0: [SDC] CDB: чтение (16) 88 00 00 00 00 00 ff ff ff 80 00 00 00 08 00 00
[68117.406139] print_req_error: ошибка ввода / вывода, dev sdc, сектор 4294967168
[68117.406431] device-mapper: multipath: Failing path 8:32.
[68117.409436] device-mapper: multipath: Failing path 8:64.

Syslog:
22 апреля 08:12:40 ядро pve-node1: [231884.131857] tg3 0000: 02: 00.0 eno3: связь не работает
22 апреля 08:12:45 ядро pve-node1: [231889.646149] connection31: 0: истекло время ожидания ping 5 секунд, время ожидания recv 5, последний rx 4352863275, последний ping 4352864576, теперь 4352865856
22 апреля 08:12:45 ядро pve-node1: [231889.650636] connection31: 0: обнаружена ошибка conn (1022)
22 апреля 08:12:45 pve-node1 iscsid: ядро отображает состояние соединения 31: 0 iSCSI: ошибка (1022 - неверный или неизвестный код ошибки) (3)
22 апреля 08:12:47 ядро pve-node1: [231891.182133] connection32: 0: истекло время ожидания пинга 5 секунд, время ожидания recv 5, последний rx 4352863694, последний пинг 4352864952, теперь 4352866240
22 апреля 08:12:47 ядро pve-node1: [231891.186623] connection32: 0: обнаружена ошибка conn (1022)
22 апреля 08:12:47 pve-node1 iscsid: ядро сообщает о состоянии iSCSI-соединения 32: 0 ошибка (1022 - неверный или неизвестный код ошибки) (3)
22 апреля 08:12:50 ядро pve-node1: [231894.766070] session31: время восстановления сеанса истекло через 5 секунд
22 апреля, 08:12:52 pve-node1 multipathd [21232]: проверяющий сбойный путь 8:64 в карте md3600i
22 апреля 08:12:52 pve-node1 multipathd [21232]: md3600i: оставшиеся активные пути: 3
22 апреля 08:12:52 ядро pve-node1: [231896.004483] device-mapper: multipath: путь ошибки 8:64.
22 апреля 08:12:52 ядро pve-node1: [231896.302051] session32: время восстановления сеанса истекло через 5 секунд
22 апреля 08:12:52 ядро pve-node1: [231896.302070] sd 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
22 апреля 08:12:52 ядро pve-node1: [231896.304407] SD 9: 0: 0: 0: [sdc] запрос на убийство
22 апреля 08:12:52 ядро pve-node1: [231896.304413] sd 9: 0: 0: 0: отклонение ввода-вывода для автономного устройства
22 апреля 08:12:52 ядро pve-node1: [231896.304479] SD 9: 0: 0: 0: [sdc] FAILED Результат: hostbyte = DID_NO_CONNECT driverbyte = DRIVER_OK
22 апреля 08:12:52 ядро pve-node1: [231896.304487] SD 9: 0: 0: 0: [sdc] CDB: чтение (16) 88 00 00 00 00 00 ff ff ff 80 00 00 00 08 00 00
22 апреля 08:12:52 ядро pve-node1: [231896.304491] print_req_error: ошибка ввода-вывода, dev sdc, сектор 4294967168
22 апреля 08:12:52 ядро pve-node1: [231896.308871] device-mapper: multipath: Failing path 8:32.
22 апреля 08:12:53 pve-node1 multipathd [21232]: sdc: пометить как сбойный
22 апреля 08:12:53 pve-node1 multipathd [21232]: md3600i: оставшиеся активные пути: 2
22 апреля 08:12:54 pve-node1 pvestatd [2588]: хранилище 'Dell_MD3600i' не подключено
22 апреля 08:12:54 pve-node1 pvestatd [2588]: время обновления статуса (9 171 секунда)
22 апреля 08:12:57 pve-node1 pvestatd [2588]: хранилище 'Dell_MD3600i' не подключено

multipath.conf
по умолчанию {
polling_interval 5
path_selector "Round-Robin 0"
path_grouping_policy multibus
getuid_callout "/ lib / udev / scsi_id -g -u -d / dev /% n"
uid_attribute ID_SERIAL
rr_min_io 100
немедленное восстановление
no_path_retry 4
max_fds 8192
user_friendly_names нет
fast_io_fail_tmo 5
flush_on_last_del да
}
черный список {
wwid. *
}
blacklist_exceptions {
wwid 3690bXXXXXXXXXXXXXXXXXXXXX72

}
устройства {
устройство {
продавец "DELL"
продукт "MD36xxi"
path_grouping_policy group_by_prio
Природак
path_checker rdac
path_selector "Round-Robin 0"
hardware_handler "1 rdac"
немедленное восстановление
функции "2 pg_init_retries 50"
no_path_retry 4
rr_min_io 100
}
}
многолучевость {
многолучевость {
wwid 3690bXXXXXXXXXXXXXXXXXXXXX72
псевдоним md3600i
}
}

/ и т.д. / модули
scsi_dh_rdac

 

[wolfgang]

Hi,

your Network schema shows that you use two times the same IP "10.208.27.10" on two different nodes.
Is this a typo or a misconfiguration?

 

[zaichegk]

Hi,

your Network schema shows that you use two times the same IP "10.208.27.10" on two different nodes.
Is this a typo or a misconfiguration?

Thanks, this is really a typo, I corrected

 

[zaichegk]

Error resolved with a workaround. I connected the storage without using WEB, but registered manually
using:

iscsiadm -m node -l -T <target name> -p 10.208.27.X

Further:
pvcreate / dev / mapper / storage
vgcreate iscsi_mp_storage / dev / mapper / storage
Log back into PVE web GUI
Datacenter | Sorage | Add | Lvm
a) ID: myStorage
b) Volume Group: iscsi_mp_storage

Apparently, the mechanism for adding ISCSI storage via WEB in Proxmox 5.4 does not work quite correctly.
Perhaps, after specifying an IP Portal, the IP addresses of all targets should appear in the Target field, and not the same as I had.