[SOLVED] ISCSI - add LVM -> Cannot use /dev/disk/by-id/... : device has a signature (500)

[morphagene]

Liebe Community!

Vielleicht könnt ihr mich hier auf die richtige Fährte bringen.
Seit kurzem haben wir eine NetApp und wollen diese mit iSCSI verwenden.
PVE Version 8.1.3.

lsscsi
[14:0:0:121] disk    NETAPP   LUN C-Mode       9121  /dev/sdc
[14:0:0:122] disk    NETAPP   LUN C-Mode       9121  /dev/sdd
[15:0:0:121] disk    NETAPP   LUN C-Mode       9121  /dev/sde
[15:0:0:122] disk    NETAPP   LUN C-Mode       9121  /dev/sdf

Die NetApp hat 2 Portal IPs und ein Target, multipath habe ich auch in Verwendung:

pvesm list Proxmox_DS01
Volid                                                                     Format  Type               Size VMID
Proxmox_DS01:0.0.121.scsi-3600a098038313935543f566174365065 raw     images    5497558138880
Proxmox_DS01:0.0.122.scsi-3600a0980383139354e24566174544d59 raw     images    5497558138880
___
pvesm list Proxmox_DS02
Volid                                                                     Format  Type               Size VMID
Proxmox_DS02:0.0.121.scsi-3600a098038313935543f566174365065 raw     images    5497558138880
Proxmox_DS02:0.0.122.scsi-3600a0980383139354e24566174544d59 raw     images    5497558138880
___
multipath -ll
mpath1 (3600a098038313935543f566174365065) dm-0 NETAPP,LUN C-Mode
size=5.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| `- 15:0:0:121 sde 8:64 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
  `- 14:0:0:121 sdc 8:32 active ready running
mpath2 (3600a0980383139354e24566174544d59) dm-1 NETAPP,LUN C-Mode
size=5.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| `- 14:0:0:122 sdd 8:48 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
  `- 15:0:0:122 sdf 8:80 active ready running
___
cat /etc/pve/storage.cfg

iscsi: Proxmox_DS01
    portal x.x.x.233
    target iqn.1992-08.com.netapp:sn.b3a97ed7821111eea440d039ea56b1db:vs.5
    content none
    nodes prox07,prox09,prox08

iscsi: Proxmox_DS02
    portal x.x.x.235
    target iqn.1992-08.com.netapp:sn.b3a97ed7821111eea440d039ea56b1db:vs.5
    content none
    nodes prox09,prox07,prox08

Wenn ich jetzt ein LVM über die GUI erstellen möchte kommt folgende Fehlermeldung:

Cannot use /dev/disk/by-id/scsi-3600a098038313935543f566174365065: device has a signature (500)

Mithilfe von wipefs konnte ich ein wenig aufräumen, allerdings nicht die mpath partitionen:

lsblk
NAME             MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda                8:0    0 223.6G  0 disk 
├─sda1             8:1    0  1007K  0 part 
├─sda2             8:2    0     1G  0 part 
└─sda3             8:3    0 222.6G  0 part 
sdb                8:16   0 223.6G  0 disk 
├─sdb1             8:17   0  1007K  0 part 
├─sdb2             8:18   0     1G  0 part 
└─sdb3             8:19   0 222.6G  0 part
sdc                8:32   0     5T  0 disk
└─mpath1         252:0    0     5T  0 mpath
  ├─mpath1-part1 252:2    0  1007K  0 part
  ├─mpath1-part2 252:3    0     1G  0 part
  └─mpath1-part3 252:4    0 222.6G  0 part
sdd                8:48   0     5T  0 disk
└─mpath2         252:1    0     5T  0 mpath
  ├─mpath2-part1 252:5    0  1007K  0 part
  ├─mpath2-part2 252:6    0     1G  0 part
  └─mpath2-part3 252:7    0 222.6G  0 part
sde                8:64   0     5T  0 disk
└─mpath1         252:0    0     5T  0 mpath
  ├─mpath1-part1 252:2    0  1007K  0 part
  ├─mpath1-part2 252:3    0     1G  0 part
  └─mpath1-part3 252:4    0 222.6G  0 part
sdf                8:80   0     5T  0 disk
└─mpath2         252:1    0     5T  0 mpath
  ├─mpath2-part1 252:5    0  1007K  0 part
  ├─mpath2-part2 252:6    0     1G  0 part
  └─mpath2-part3 252:7    0 222.6G  0 part

pvcreate /dev/mapper/mpath1
  Can't open /dev/mapper/mpath1 exclusively.  Mounted filesystem?
  Can't open /dev/mapper/mpath1 exclusively.  Mounted filesystem?
  Error opening device /dev/mapper/mpath1 for reading at 0 length 512.
  Can't open /dev/mapper/mpath1 exclusively.  Mounted filesystem?
  Error opening device /dev/mapper/mpath1 for reading at 0 length 4096.
  Cannot use /dev/mapper/mpath1: device has a signature

Danke im Voraus!

 

[Falk R.]

Was für eine Netapp ist dan denn? Bei einem Filer würde ich lieber NFS nutzen, da du sonst mit iSCSI nur Sinnlos Overhead erzeugst.
Ist das eine die aus den LSI Zukauf kommt, dann ist das ein reines Blockstorage, da solltes du eigentlich keine verschiedenen Portal IPs haben, für die Datastores. Du hast verschiedene Target IPs, für das Multipathing, aber das Portal sollte eigentlich gleich sein.
Wie sieht eigentlich das Netzwerksetup aus, wenn du nur 2 Pfade siehst?

 

[morphagene]

Was für eine Netapp ist dan denn? Bei einem Filer würde ich lieber NFS nutzen, da du sonst mit iSCSI nur Sinnlos Overhead erzeugst.
Ist das eine die aus den LSI Zukauf kommt, dann ist das ein reines Blockstorage, da solltes du eigentlich keine verschiedenen Portal IPs haben, für die Datastores. Du hast verschiedene Target IPs, für das Multipathing, aber das Portal sollte eigentlich gleich sein.
Wie sieht eigentlich das Netzwerksetup aus, wenn du nur 2 Pfade siehst?

Hi Falk!

Danke für deine Antwort.
Wir haben auch NFS im Einsatz und wollen mit dieser NetApp (AFF-C250) iSCSI versuchen.
Das mit der Portal IP muss ich mir nochmal anschauen.

Nachdem ich die Server durchgestartet habe, konnte ich ein LVM erstellen, da habe ich wahrscheinlich ein Service vergessen zu restarten!

Danke!

 

[Falk R.]

Hi Falk!

Danke für deine Antwort.
Wir haben auch NFS im Einsatz und wollen mit dieser NetApp (AFF-C250) iSCSI versuchen.

Hi, die AFF-Cxxx ist mit ONTAP, also läuft da eh schon ein Filesystem. Ich würde aus Performancegründen dann lieber NFS nutzen.
Mit NFS4 funktioniert auch Multipath.

Das mit der Portal IP muss ich mir nochmal anschauen.


Nachdem ich die Server durchgestartet habe, konnte ich ein LVM erstellen, da habe ich wahrscheinlich ein Service vergessen zu restarten!

Wenn du Multipath nutzen willst, solltest du das Storage nicht über die GUI konfigurieren. LVM anlegen auf dem mpath device geht natürlich.
Was ich bei Debian nicht schön finde (im Gegensatz zu Ubuntu) in der multipath.conf ist per default alles geblacklistet und wenn du iSCSI installierst, werden die Dienste nicht automatisch gestartet, das muss man auch von Hand aktivieren.

Bei der multipath.conf bitte immer ganz genau an die Herstellerangaben halten (NetApp), sonst kann es sehr unschöne Effekte geben.