iSCSI LUN; von einem Node langsame Leserate, schnelle Schreibrate

Crash1601 · Jun 22, 2023

Guten Tag,

ich habe ein kleines PVE-Cluster am laufen mit zurzeit drei Nodes:

Node-1: Linux 5.15.107-2-pve #1 SMP PVE 5.15.107-2 | 3x 1Gbit/s Ethernet als LACP Bond, 1x Ethernet 1Gbit/s ohne IP für WoL | 32 x 13th Gen Intel(R) Core(TM) i9-3900K (NUC 13)
Node-2: Linux 5.15.102-1-pve #1 SMP PVE 5.15.102-1 | 2x 1Gbit/s Ethernet als LACP Bond, 1x Ethernet 1Gbit/s ohne IP für WoL | 4 x Intel(R) Pentium(R) Silver N6005 (Dell Optiplex)
Node-3: Linux 5.15.102-1-pve #1 SMP PVE 5.15.102-1 | 2x 1Gbit/s Ethernet als LACP Bond, 1x Ethernet 1Gbit/s ohne IP für WoL | 4 x Intel(R) Pentium(R) Silver N6005 (Dell Optiplex)

Als sharing Speicher nutze ich eine LUN die mittels iSCSI Multipath allen Nodes gleichwertig zur Verfügung steht. Alle Nodes hängen direkt am gleichen Switch, an dem wiederrum das Synology NAS hängt (3x 1Gbit/s als Bond für VLAN100, 1x 1Gbit/s für VLAN200). Das jeweilige BIOS der Nodes ist auf dem aktuellen Stand.

Die Netzwerk und Multipath Konfiguration ist auch bei allen Nodes identisch.

Nun habe ich das Problem, dass ausschließlich die Leserate auf dem Node-1 deutlich langsamer ist, als auf den anderen beiden Nodes, obwohl diese deutlich schwächer sind.

Testszenario HDD verschieben

Node-1: 32GByte HDD auf die ISCSI LUN verschieben => ~ 300 MByte/s; 32GByte HDD von der iSCSI LUN auf den lokalen PCIE4.0 NVME Speicher verschieben => 100 MByte/s
Node-2: 32GByte HDD auf die ISCSI LUN verschieben => ~ 300 MByte/s; 32GByte HDD von der iSCSI LUN auf den lokalen PCIE3.0 NVME Speicher verschieben => 300 MByte/s
Node-3: 32GByte HDD auf die ISCSI LUN verschieben => ~ 300 MByte/s; 32GByte HDD von der iSCSI LUN auf den lokalen PCIE3.0 NVME Speicher verschieben => 300 MByte/s

Testszenario FIO 3.25

Node-1 Read:

Code:

Starting 200 processes
Jobs: 29 (f=29): [_(7),R(1),_(20),R(1),_(1),R(1),_(16),R(1),_(18),R(1),_(8),R(1),_(16),R(1),_(1),R(1),_(1),R(1),_(3),R(1),_(1),R(1),_(21),R(1),_(13),R(1),_(1),R(1),_(2),R(2),_(10),R(2),_(1),R(1),_(2),R(1),_(2),R(1),_(1),R(2),_(11),R(1),_(3),R(1),_(6),R(2),_(2),R(1),_(4),R(1)][0.6%][r=205MiB/s][r=205 IOPS][eta 02h:50m:59s]
file1: (groupid=0, jobs=200): err= 0: pid=1929443: Thu Jun 22 11:00:38 2023
  read: IOPS=209, BW=210MiB/s (220MB/s)(12.5GiB/61100msec)
    clat (msec): min=62, max=2751, avg=943.56, stdev=318.30
     lat (msec): min=62, max=2751, avg=943.56, stdev=318.30
    clat percentiles (msec):
     |  1.00th=[  384],  5.00th=[  592], 10.00th=[  676], 20.00th=[  751],
     | 30.00th=[  793], 40.00th=[  827], 50.00th=[  860], 60.00th=[  902],
     | 70.00th=[  961], 80.00th=[ 1083], 90.00th=[ 1385], 95.00th=[ 1603],
     | 99.00th=[ 2123], 99.50th=[ 2299], 99.90th=[ 2635], 99.95th=[ 2702],
     | 99.99th=[ 2735]
   bw (  KiB/s): min=409600, max=501848, per=100.00%, avg=411407.96, stdev=132.67, samples=12570
   iops        : min=  400, max=  490, avg=401.76, stdev= 0.13, samples=12570
  lat (msec)   : 100=0.04%, 250=0.18%, 500=2.21%, 750=17.10%, 1000=54.59%
  lat (msec)   : 2000=24.38%, >=2000=1.50%
  cpu          : usr=0.00%, sys=0.00%, ctx=13328, majf=26, minf=54660
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=12824,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=210MiB/s (220MB/s), 210MiB/s-210MiB/s (220MB/s-220MB/s), io=12.5GiB (13.4GB), run=61100-61100msec

Node-1 Write:

Code:

fio-3.25
Starting 200 processes
Jobs: 200 (f=200): [W(200)][100.0%][w=333MiB/s][w=333 IOPS][eta 00m:00s]
file1: (groupid=0, jobs=200): err= 0: pid=2250712: Thu Jun 22 14:56:07 2023
  write: IOPS=325, BW=325MiB/s (341MB/s)(19.2GiB/60564msec); 0 zone resets
    clat (msec): min=236, max=922, avg=612.62, stdev=69.16
     lat (msec): min=236, max=922, avg=612.65, stdev=69.16
    clat percentiles (msec):
     |  1.00th=[  456],  5.00th=[  550], 10.00th=[  567], 20.00th=[  575],
     | 30.00th=[  584], 40.00th=[  592], 50.00th=[  592], 60.00th=[  600],
     | 70.00th=[  609], 80.00th=[  634], 90.00th=[  726], 95.00th=[  776],
     | 99.00th=[  810], 99.50th=[  818], 99.90th=[  852], 99.95th=[  860],
     | 99.99th=[  894]
   bw (  KiB/s): min=409580, max=458868, per=100.00%, avg=410153.27, stdev=74.42, samples=19458
   iops        : min=  396, max=  448, avg=400.50, stdev= 0.07, samples=19458
  lat (msec)   : 250=0.08%, 500=1.40%, 750=90.93%, 1000=7.58%
  cpu          : usr=0.01%, sys=0.00%, ctx=20495, majf=0, minf=2486
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,19684,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: bw=325MiB/s (341MB/s), 325MiB/s-325MiB/s (341MB/s-341MB/s), io=19.2GiB (20.6GB), run=60564-60564msec

Node-2 Read:

Code:

Starting 200 processes
Jobs: 200 (f=200): [R(200)][100.0%][r=335MiB/s][r=335 IOPS][eta 00m:00s]
file1: (groupid=0, jobs=200): err= 0: pid=1649342: Thu Jun 22 11:01:46 2023
  read: IOPS=329, BW=330MiB/s (346MB/s)(19.5GiB/60593msec)
    clat (msec): min=14, max=1200, avg=603.86, stdev=59.31
     lat (msec): min=14, max=1200, avg=603.86, stdev=59.31
    clat percentiles (msec):
     |  1.00th=[  414],  5.00th=[  575], 10.00th=[  584], 20.00th=[  592],
     | 30.00th=[  592], 40.00th=[  600], 50.00th=[  600], 60.00th=[  600],
     | 70.00th=[  609], 80.00th=[  609], 90.00th=[  634], 95.00th=[  693],
     | 99.00th=[  818], 99.50th=[  818], 99.90th=[ 1062], 99.95th=[ 1133],
     | 99.99th=[ 1183]
   bw (  KiB/s): min=407090, max=473535, per=100.00%, avg=410157.85, stdev=84.56, samples=19733
   iops        : min=  200, max=  457, avg=372.06, stdev= 0.36, samples=19733
  lat (msec)   : 20=0.01%, 50=0.04%, 100=0.07%, 250=0.19%, 500=2.82%
  lat (msec)   : 750=94.55%, 1000=2.21%, 2000=0.13%
  cpu          : usr=0.00%, sys=0.01%, ctx=20607, majf=0, minf=53817
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=19967,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=330MiB/s (346MB/s), 330MiB/s-330MiB/s (346MB/s-346MB/s), io=19.5GiB (20.9GB), run=60593-60593msec

Node-3 Read:

Code:

fio-3.25
Starting 200 processes
Jobs: 200 (f=200): [R(200)][100.0%][r=322MiB/s][r=322 IOPS][eta 00m:00s]
file1: (groupid=0, jobs=200): err= 0: pid=452998: Thu Jun 22 11:02:57 2023
  read: IOPS=325, BW=325MiB/s (341MB/s)(19.3GiB/60601msec)
    clat (msec): min=16, max=1648, avg=611.45, stdev=88.38
     lat (msec): min=16, max=1648, avg=611.45, stdev=88.38
    clat percentiles (msec):
     |  1.00th=[  430],  5.00th=[  558], 10.00th=[  567], 20.00th=[  575],
     | 30.00th=[  592], 40.00th=[  600], 50.00th=[  600], 60.00th=[  600],
     | 70.00th=[  609], 80.00th=[  617], 90.00th=[  676], 95.00th=[  802],
     | 99.00th=[ 1011], 99.50th=[ 1083], 99.90th=[ 1368], 99.95th=[ 1536],
     | 99.99th=[ 1653]
   bw (  KiB/s): min=404588, max=495834, per=100.00%, avg=410280.87, stdev=94.52, samples=19482
   iops        : min=  200, max=  462, avg=362.21, stdev= 0.40, samples=19482
  lat (msec)   : 20=0.01%, 50=0.05%, 100=0.06%, 250=0.18%, 500=2.43%
  lat (msec)   : 750=90.24%, 1000=5.97%, 2000=1.07%
  cpu          : usr=0.00%, sys=0.01%, ctx=20516, majf=0, minf=53933
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=19724,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=325MiB/s (341MB/s), 325MiB/s-325MiB/s (341MB/s-341MB/s), io=19.3GiB (20.7GB), run=60601-60601msec

An dem FIO Test wundert mich zwar, dass die Leserate bei Node-1 über 200 MByte/s liegt, welche ich mit dem Verschieben der HDD nicht erreichen kann, aber es verdeutlicht trotzdem den Performanceunterschied zu den anderen zwei Nodes.

Edit: Ich habe für den Problem-Node den Write Test hinzugefügt, welcher im Ergebnis mit den anderen beides Nodes identisch ist. Alle drei Tests wurden hintereinander gegen das gleiche System/LUN durchgeführt.

Ich habe bereits versucht das Problem einzugrenzen bzw. zu lokalisieren. Beim Node-1 komme ich selbst mit drei USB-1Gbit-Ethernetadaptern als Bond auf die gleichen Ergebnisse - bei Node-2 und Node-3 wieder volle Performance. An den LAN Ports selbst kann es meiner Meinung nach nicht liegen.

Ich bin etwas ratlos. Hat von euch jemand eine Idee an welcher Stelle es klemmen könnte bzw. weshalb nur von dem einem Node die Leserate so stark abweicht?

Gruß,
Crash1601

shanreich · Jun 22, 2023

Crash1601 said:
3x 1Gbit/s als Bond für VLAN100, 1x 1Gbit/als Bond für VLAN200

Kann es sein, dass der erste Node unabsichtlich via VLAN 200 reinkommt und die anderen 2 via VLAN 100?

Ansonsten: Sind die Bond-Modes auf allen 3 Nodes ident / korrekt?

Crash1601 · Jun 22, 2023

Ich hatte gerade noch mal ein paar Tests mit FIO laufen lassen um dies zu prüfen. Es kommt auch von dem Node1 Traffic über VLAN100 und 200 rein bzw. wird vom NAS hochgeladen (~65MByte/s über VLAN200, 169MByte/s über VLAN100). Die Config ist identisch - hier zwei Auszüge:

Node-1:

Code:

auto lo
iface lo inet loopback

auto enp5s0
iface enp5s0 inet manual
post-up /usr/sbin/ethtool -s enp5s0 wol g

auto enp4s0
iface enp4s0 inet manual

auto enx00e04c680251
iface enx00e04c680251 inet manual

auto enx00e04c6802a0
iface enx00e04c6802a0 inet manual

auto bond0
iface bond0 inet manual
    bond-slaves enp4s0 enx00e04c680251 enx00e04c6802a0
    bond-miimon 100
    bond-mode 802.3ad
    bond-xmit-hash-policy layer2+3
    bond_downdelay 200
    bond_updelay 200

auto vmbr0
iface vmbr0 inet manual
    bridge-ports bond0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094

auto vmbr300
iface vmbr300 inet manual
    address 192.168.179.15/24
    gateway 192.168.179.1
    bridge-ports bond0.300
    bridge-stp off
    bridge-fd 0
#VLAN300

auto vmbr200
iface vmbr200 inet manual
    address 192.168.8.15/24
    gateway 192.168.8.1
    bridge-ports bond0.200
    bridge-stp off
    bridge-fd 0
#VLAN200

auto vmbr100
iface vmbr100 inet static
    address 192.168.178.15/24
    gateway 192.168.178.1
    bridge-ports bond0.100
    bridge-stp off
    bridge-fd 0
   
iface vmbr100 inet6 static
    address fe80::1080:dfff:fe5b:42b7/64
    gateway fd00::464e:6dff:feb8:2cc3
#VLAN100

Node-2:

Code:

auto lo
iface lo inet loopback

auto enp1s0
iface enp1s0 inet manual
    post-up /usr/sbin/ethtool -s enp1s0 wol g

auto enx00e04c680276
iface enx00e04c680276 inet manual

auto enx00e04c680698
iface enx00e04c680698 inet manual

auto bond0
iface bond0 inet manual
    bond-slaves enx00e04c680276 enx00e04c680698
    bond-miimon 100
    bond-mode 802.3ad
    bond-xmit-hash-policy layer2+3
    bond_downdelay 200
    bond_updelay 200

auto vmbr0
iface vmbr0 inet manual
    bridge-ports bond0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094

auto vmbr300
iface vmbr300 inet manual
    address 192.168.179.30/24
    gateway 192.168.179.1
    bridge-ports bond0.300
    bridge-stp off
    bridge-fd 0
#VLAN300

auto vmbr200
iface vmbr200 inet manual
    address 192.168.8.30/24
    gateway 192.168.8.1
    bridge-ports bond0.200
    bridge-stp off
    bridge-fd 0
#VLAN200

auto vmbr100
iface vmbr100 inet static
    address 192.168.178.30/24
    gateway 192.168.178.1
    bridge-ports bond0.100
    bridge-stp off
    bridge-fd 0
#VLAN100

iface vmbr100 inet6 static
    address fe80::2c5b:7aff:feca:3428/64
    gateway fd00::464e:6dff:feb8:2cc3

shanreich · Jun 22, 2023

Was sagt denn ls -alh /dev/disk/by-path/ auf den Nodes?

Crash1601 · Jun 22, 2023

Node-1:

Code:

root@c010:~# ls -alh /dev/disk/by-path/
total 0
drwxr-xr-x 2 root root 380 Jun 21 10:31 .
drwxr-xr-x 7 root root 140 Jun 21 10:30 ..
lrwxrwxrwx 1 root root   9 Jun 21 10:31 ip-192.168.178.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdc
lrwxrwxrwx 1 root root   9 Jun 21 10:31 ip-192.168.8.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdb
lrwxrwxrwx 1 root root   9 Jun 21 10:31 ip-fd00::211:32ff:feb9:3089:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdd
lrwxrwxrwx 1 root root   9 Jun 21 10:30 pci-0000:00:17.0-ata-6 -> ../../sda
lrwxrwxrwx 1 root root   9 Jun 21 10:30 pci-0000:00:17.0-ata-6.0 -> ../../sda
lrwxrwxrwx 1 root root  10 Jun 21 10:30 pci-0000:00:17.0-ata-6.0-part1 -> ../../sda1
lrwxrwxrwx 1 root root  10 Jun 21 10:30 pci-0000:00:17.0-ata-6-part1 -> ../../sda1
lrwxrwxrwx 1 root root  13 Jun 21 10:30 pci-0000:02:00.0-nvme-1 -> ../../nvme0n1
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:02:00.0-nvme-1-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:02:00.0-nvme-1-part2 -> ../../nvme0n1p2
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:02:00.0-nvme-1-part3 -> ../../nvme0n1p3
lrwxrwxrwx 1 root root  13 Jun 21 10:30 pci-0000:03:00.0-nvme-1 -> ../../nvme1n1
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:03:00.0-nvme-1-part1 -> ../../nvme1n1p1
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:03:00.0-nvme-1-part2 -> ../../nvme1n1p2
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:03:00.0-nvme-1-part3 -> ../../nvme1n1p3
lrwxrwxrwx 1 root root  13 Jun 21 10:30 pci-0000:70:00.0-nvme-1 -> ../../nvme2n1
lrwxrwxrwx 1 root root  15 Jun 21 10:30 pci-0000:70:00.0-nvme-1-part1 -> ../../nvme2n1p1

Node-2:

Code:

root@c013:~# ls -alh /dev/disk/by-path/
total 0
drwxr-xr-x 2 root root 180 Jun  8 14:08 .
drwxr-xr-x 6 root root 120 Jun  8 14:08 ..
lrwxrwxrwx 1 root root   9 Jun  8 14:08 ip-192.168.178.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdc
lrwxrwxrwx 1 root root   9 Jun  8 14:08 ip-192.168.8.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sda
lrwxrwxrwx 1 root root   9 Jun  8 14:08 ip-fd00::211:32ff:feb9:3089:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdb
lrwxrwxrwx 1 root root  13 Jun  8 14:08 pci-0000:02:00.0-nvme-1 -> ../../nvme0n1
lrwxrwxrwx 1 root root  15 Jun  8 14:08 pci-0000:02:00.0-nvme-1-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root  15 Jun  8 14:08 pci-0000:02:00.0-nvme-1-part2 -> ../../nvme0n1p2
lrwxrwxrwx 1 root root  15 Jun  8 14:08 pci-0000:02:00.0-nvme-1-part3 -> ../../nvme0n1p3

Node-3

Code:

root@c052:~#  ls -alh /dev/disk/by-path/
total 0
drwxr-xr-x 2 root root 200 Jun 21 10:34 .
drwxr-xr-x 6 root root 120 Jun 21 10:34 ..
lrwxrwxrwx 1 root root   9 Jun 21 10:34 ip-192.168.178.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sda
lrwxrwxrwx 1 root root   9 Jun 21 10:34 ip-192.168.8.20:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 ->
../../sdb
lrwxrwxrwx 1 root root   9 Jun 21 10:34 ip-2003:db:d74a:8f00:211:32ff:feb9:3089:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdd
lrwxrwxrwx 1 root root   9 Jun 21 10:34 ip-fd00::211:32ff:feb9:3089:3260-iscsi-iqn.2000-01.com.synology:iSCSI-PVE.c465f6088be-lun-1 -> ../../sdc
lrwxrwxrwx 1 root root  13 Jun 21 10:34 pci-0000:02:00.0-nvme-1 -> ../../nvme0n1
lrwxrwxrwx 1 root root  15 Jun 21 10:34 pci-0000:02:00.0-nvme-1-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root  15 Jun 21 10:34 pci-0000:02:00.0-nvme-1-part2 -> ../../nvme0n1p2
lrwxrwxrwx 1 root root  15 Jun 21 10:34 pci-0000:02:00.0-nvme-1-part3 -> ../../nvme0n1p3

Crash1601 · Jun 22, 2023

Auch wenn es keine Rolle spielen dürfte: Im ersten Beitrag habe ich mich vertippt - das NAS ist ohne Bond mit 1Gbit/s an VLAN200 angeschlossen. Sorry.

shanreich · Jun 22, 2023

Wie ist das dann auf den jeweiligen Hosts gemounted?

Code:

findmnt

Crash1601 · Jun 22, 2023

Hier der Output:

Node-1:

Code:

root@c010:~# findmnt
TARGET                        SOURCE         FSTYPE     OPTIONS
/                             rpool/ROOT/pve-1
│                                            zfs        rw,relatime,xattr,noacl
├─/sys                        sysfs          sysfs      rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/security      securityfs     securityfs rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/cgroup            cgroup2        cgroup2    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/pstore            pstore         pstore     rw,nosuid,nodev,noexec,relatime
│ ├─/sys/firmware/efi/efivars efivarfs       efivarfs   rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/bpf               bpf            bpf        rw,nosuid,nodev,noexec,relatime,mode=700
│ ├─/sys/kernel/debug         debugfs        debugfs    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/tracing       tracefs        tracefs    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/fuse/connections  fusectl        fusectl    rw,nosuid,nodev,noexec,relatime
│ └─/sys/kernel/config        configfs       configfs   rw,nosuid,nodev,noexec,relatime
├─/proc                       proc           proc       rw,relatime
│ └─/proc/sys/fs/binfmt_misc  systemd-1      autofs     rw,relatime,fd=30,pgrp=1,timeout=0,minproto=5,maxproto=5,di
├─/dev                        udev           devtmpfs   rw,nosuid,relatime,size=32665496k,nr_inodes=8166374,mode=75
│ ├─/dev/pts                  devpts         devpts     rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000
│ ├─/dev/shm                  tmpfs          tmpfs      rw,nosuid,nodev,inode64
│ ├─/dev/mqueue               mqueue         mqueue     rw,nosuid,nodev,noexec,relatime
│ └─/dev/hugepages            hugetlbfs      hugetlbfs  rw,relatime,pagesize=2M
├─/run                        tmpfs          tmpfs      rw,nosuid,nodev,noexec,relatime,size=6539816k,mode=755,inod
│ ├─/run/lock                 tmpfs          tmpfs      rw,nosuid,nodev,noexec,relatime,size=5120k,inode64
│ ├─/run/rpc_pipefs           sunrpc         rpc_pipefs rw,relatime
│ └─/run/user/0               tmpfs          tmpfs      rw,nosuid,nodev,relatime,size=6539812k,nr_inodes=1634953,mo
├─/rpool                      rpool          zfs        rw,relatime,xattr,noacl
│ ├─/rpool/ROOT               rpool/ROOT     zfs        rw,relatime,xattr,noacl
│ └─/rpool/data               rpool/data     zfs        rw,relatime,xattr,noacl
├─/mnt/pve/local-2            /dev/nvme2n1p1 xfs        rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,noquota
├─/mnt/pve/local-3            /dev/sda1      xfs        rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,noquota
├─/var/lib/lxcfs              lxcfs          fuse.lxcfs rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other
└─/etc/pve                    /dev/fuse      fuse       rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permi

Node-2:

Code:

root@c013:~# findmnt
TARGET                        SOURCE         FSTYPE   OPTIONS
/                             /dev/mapper/pve-root
│                                            ext4     rw,relatime,errors=remount-ro
├─/sys                        sysfs          sysfs    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/security      securityfs     security rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/cgroup            cgroup2        cgroup2  rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/pstore            pstore         pstore   rw,nosuid,nodev,noexec,relatime
│ ├─/sys/firmware/efi/efivars efivarfs       efivarfs rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/bpf               bpf            bpf      rw,nosuid,nodev,noexec,relatime,mode
│ ├─/sys/kernel/debug         debugfs        debugfs  rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/tracing       tracefs        tracefs  rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/fuse/connections  fusectl        fusectl  rw,nosuid,nodev,noexec,relatime
│ └─/sys/kernel/config        configfs       configfs rw,nosuid,nodev,noexec,relatime
├─/proc                       proc           proc     rw,relatime
│ └─/proc/sys/fs/binfmt_misc  systemd-1      autofs   rw,relatime,fd=30,pgrp=1,timeout=0,m
├─/dev                        udev           devtmpfs rw,nosuid,relatime,size=8053408k,nr_
│ ├─/dev/pts                  devpts         devpts   rw,nosuid,noexec,relatime,gid=5,mode
│ ├─/dev/shm                  tmpfs          tmpfs    rw,nosuid,nodev,inode64
│ ├─/dev/hugepages            hugetlbfs      hugetlbf rw,relatime,pagesize=2M
│ └─/dev/mqueue               mqueue         mqueue   rw,nosuid,nodev,noexec,relatime
├─/run                        tmpfs          tmpfs    rw,nosuid,nodev,noexec,relatime,size
│ ├─/run/lock                 tmpfs          tmpfs    rw,nosuid,nodev,noexec,relatime,size
│ ├─/run/rpc_pipefs           sunrpc         rpc_pipe rw,relatime
│ └─/run/user/0               tmpfs          tmpfs    rw,nosuid,nodev,relatime,size=161743
├─/boot/efi                   /dev/nvme0n1p2 vfat     rw,relatime,fmask=0022,dmask=0022,co
├─/var/lib/lxcfs              lxcfs          fuse.lxc rw,nosuid,nodev,relatime,user_id=0,g
└─/etc/pve                    /dev/fuse      fuse     rw,nosuid,nodev,relatime,user_id=0,g

Node-3:

Code:

root@c052:~# findmnt
TARGET                        SOURCE         FSTYPE     OPTIONS
/                             /dev/mapper/pve-root
│                                            ext4       rw,relatime,errors=remount-ro
├─/sys                        sysfs          sysfs      rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/security      securityfs     securityfs rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/cgroup            cgroup2        cgroup2    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/pstore            pstore         pstore     rw,nosuid,nodev,noexec,relatime
│ ├─/sys/firmware/efi/efivars efivarfs       efivarfs   rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/bpf               bpf            bpf        rw,nosuid,nodev,noexec,relatime,mode=700
│ ├─/sys/kernel/debug         debugfs        debugfs    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/kernel/tracing       tracefs        tracefs    rw,nosuid,nodev,noexec,relatime
│ ├─/sys/fs/fuse/connections  fusectl        fusectl    rw,nosuid,nodev,noexec,relatime
│ └─/sys/kernel/config        configfs       configfs   rw,nosuid,nodev,noexec,relatime
├─/proc                       proc           proc       rw,relatime
│ └─/proc/sys/fs/binfmt_misc  systemd-1      autofs     rw,relatime,fd=30,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=15520
├─/dev                        udev           devtmpfs   rw,nosuid,relatime,size=8053404k,nr_inodes=2013351,mode=755,inode64
│ ├─/dev/pts                  devpts         devpts     rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000
│ ├─/dev/shm                  tmpfs          tmpfs      rw,nosuid,nodev,inode64
│ ├─/dev/mqueue               mqueue         mqueue     rw,nosuid,nodev,noexec,relatime
│ └─/dev/hugepages            hugetlbfs      hugetlbfs  rw,relatime,pagesize=2M
├─/run                        tmpfs          tmpfs      rw,nosuid,nodev,noexec,relatime,size=1617436k,mode=755,inode64
│ ├─/run/lock                 tmpfs          tmpfs      rw,nosuid,nodev,noexec,relatime,size=5120k,inode64
│ ├─/run/rpc_pipefs           sunrpc         rpc_pipefs rw,relatime
│ └─/run/user/0               tmpfs          tmpfs      rw,nosuid,nodev,relatime,size=1617432k,nr_inodes=404358,mode=700,inode64
├─/boot/efi                   /dev/nvme0n1p2 vfat       rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=iso8859-1,shortname=m
├─/var/lib/lxcfs              lxcfs          fuse.lxcfs rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other
└─/etc/pve                    /dev/fuse      fuse       rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other

shanreich · Jun 22, 2023

Ah, sorry - ich dachte, das würde mir die gewünschte Information geben - hab momentan leider kein Testsystem da. Geht folgender Befehl stattdessen:

Code:

iscsiadm -m session -P 3

Crash1601 · Jun 22, 2023

Im Anhang der Output. Sorry für die späte Rückmeldung.

shanreich · Jun 22, 2023

Hm, da war ich wohl auf dem Holzweg - wie sieht der multipath status / config aus?

Code:

multipath -ll
cat /etc/multipath.conf

Crash1601 · Jun 22, 2023

Auf dem Node 3 habe ich gerade gesehen, dass da etwas nicht stimmt. Aber das sollte für das eigentliche Problem keine Rolle spielen.

shanreich · Jun 22, 2023

Hm, sieht alles iO aus (leider?).

Was mir noch aufgefallen wäre - bei dem fio-Output sieht man hier etwas größere Latenz auf Node 1, verglichen mit Node 2 & 3. Ob das den Unterschied erklären kann? Schwer zu sagen...

Wie ist denn das beim Node 1? Da sind ja 3 interfaces im Bond (enp4s0 / enx00e04c680251 / enx00e04c6802a0) vs nur 2 auf den anderen Nodes. Sieht so aus als sind das auf Node 1 2 NICs und auf Node 2/3 nur eine? Könnte man vl mal probieren die (enp4s0) rauszunehmen und dann zu testen?

Crash1601 · Jun 22, 2023

Das freut mich, denn ich beschäftige mich erst seit ein paar Monaten privat mit Proxmox VE. Im RZ setzen wir leider andere Produkte ein.

Im Node 1 (Intel NUC 13 Extreme i9): enp4s0 10G, enp5s0 2,5G, bei den enx handelt es sich um USB-Ethernet-Adapter. Diese Konstruktion habe ich, damit ich zum einen die gewünschte Bandbreite erreiche und WoL funktioniert, falls mal die USV leer läuft und ich das Gerät aus der Ferne booten kann. Bei den zwei kleinen Geräten wird jeweils die OnBoard NIC für WoL und die jeweils zwei USB-Ethernet-Adapter für den Bond. Im Grunde reicht das aus, weil die nur für die Erfüllung des quorum vorhanden sind und um mal ein, zwei Linux KVMs am Leben zu erhalten, wenn Node-1 nicht online ist.

Ich teste gleich mal ohne die OnBoard NICs.

Besteht irgendwie die Möglichkeit genauere Einblicke in die Verbindungswege zu erhalten? Ich habe bereits einiges recheriert, aber keine Idee mehr bzw. keinen Ansatz mehr wo das Problem liegen soll. Es ist aus meiner Sicht völlig unlogisch

shanreich · Jun 22, 2023

Crash1601 said:
Besteht irgendwie die Möglichkeit genauere Einblicke in die Verbindungswege zu erhalten?

multipath -ll gibt Auskunft über die Verbindungswege (welche existieren, welche features aktiv sind, welche policy, ...)

Hast du vielleicht die Möglichkeit extern Netzwerk-Monitoring zu betreiben? Vielleicht fällt ja da etwas auf.

Crash1601 · Jun 22, 2023

Ich überlege mal wie ich am besten den Traffic mitschneide. Aktuell habe ich leider plötzlich das Problem, dass das LVM auf keinem Node mehr zur Verfügung steht, die iSCSI Verbindung ist aufgebaut. Etwas seltsam, weil ich noch nichts umgestellt oder getestet hatte. Die LUN ist auch Healthy auf dem NAS.

Crash1601 · Jun 22, 2023

Im Moment kann ich nicht nachvollziehen, weshalb die LVM1 über meine iSCSI Verbindung den Status unknown hat. Der Output vom multipath -ll ist i.O. und der Multipath-Service selbst ist auch active. Ich wäre für einen Tipp dankbar

Das Problem ist bei allen drei Nodes gleichzeitig aufgetreten. Aufgefallen ist es mir beim ändern der Netzwerkkonfiguration auf Node-1 (testen was ohne die enp4s0 passiert).

Am NAS hat sich nichts geändert, daher wundert es mich umso mehr. Es kann nur sein das etwas fehlerhaftes über den Cluster-Modus gesynct wurde.

Ein "älteres", aber eigentlich (dachte ich) gelöstes Problem war, dass das Node-1 immer wieder versucht Targets zu erreichen die bereits gelöscht wurden.

Edit: Attach files. Es ist u.a. zu sehen das versucht wird sich z.B. zu iscsi-014 oder iscsi-034 verbinden. Diese Targets werden immer wieder mal nach einem Reboot versucht zu verbinden, obwohl keine Berechtigung besteht. Die Targets hatte ich auch schon mehrmals aus /etc/iscsi entfernt.

Crash1601 · Jun 23, 2023

Die VolumeGroup wird nicht mehr gefunden bzw. existiert nicht mehr. Ist es eine gute Idee die StorageID über die GUI zu entfernen und dann den existierenden LVM über die bestehende iSCSI Verbindung neu zu adden oder verschlechtert sich dann die Situation?

Unter Node => Disk => LVM steht "no VGs found".

shanreich · Jun 23, 2023

Nur dass ich hier noch den Überblick behalte: Am Node 1 ist jetzt die 3. NIC noch aus dem Bond draußen oder ist sie wieder hinzugefügt worden?

Den Storage zu entfernen und neu hinzufügen sollte auf keinen Fall die Daten, die sich am Storage befinden, beeinträchtigen also wäre es wohl einen Versuch wert

Interessant wären auf jeden Fall die Syslogs von jedem Node:

Code:

journalctl --since '2 days ago' > journalctl-$(hostname).txt

Die Storage Konfiguration auch:

Code:

cat /etc/pve/storage.cfg

Crash1601 · Jun 23, 2023

Den LVM habe ich entfernt und dann wieder hinzugefügt, aber die Disks waren zumindest aus PVE Sicht nicht mehr vorhanden. Im Rahmen von Tests hatte ich das aber (meine ich) auch schon so gemacht und es gab keine Probleme. Da ich aktuelle Backups habe, fahre ich gerade einen Restore und überlege im PVE Bereich auf NFS zu setzen - mit iSCSI hatte ich in dem Zusammenhang zu viele Problemchen

Auch wenn es nicht zu diesem Thread gehört: Aus welchem Grund versuchen die Nodes bereits gelöschte oder generell verfügbare Targets zu verbinden? Sie sind zwar grundsätzlich vorhanden auf dem NAS, aber nicht als Verbindung auf den Nodes definiert. Nach jedem Reboot eines Nodes erhalte ich in den Logs Warnmeldungen über den Verbindungsversuch (durch einen Node).

iSCSI LUN; von einem Node langsame Leserate, schnelle Schreibrate

Member

Proxmox Staff Member

Member

Proxmox Staff Member

Member

Member

Proxmox Staff Member

Member

Proxmox Staff Member

Member

Attachments

Proxmox Staff Member

Member

Attachments

Proxmox Staff Member

Member

Proxmox Staff Member

Member

Member

Attachments

Member

Attachments

Proxmox Staff Member

Member