ISCSI verbindungs Abbrüche

T

Toby-ch

Member
May 17, 2020
6
0
21
39
Hallo zusammen
Ist zustand:
Ich habe ein Home-Cluster bestehend aus 7 Nodes
Auf allen nodes ist PVE 8.3.5 installiert
Hardware Minisforum MS-01 Netzwerk angebunden via 2xSFP+ 10G DACT Kabel zu einem USW Pro Aggregation. das NAS ein ASUSStore Flashstation (FS6812X) ist auch mit 2x 10GB an einem USW EnterpriseXG 24 angebunden.
Folgende Symptome: Backup auf meinen PBS der auch via SFP+ angebunden ist habe ich Abbrüche:

Code: 
INFO: 44% (8.4 GiB of 18.8 GiB) in 1m 37s, read: 124.0 MiB/s, write: 124.0 MiB/s
INFO: 46% (8.6 GiB of 18.8 GiB) in 1m 40s, read: 85.3 MiB/s, write: 85.3 MiB/s
INFO: 46% (8.6 GiB of 18.8 GiB) in 4m 6s, read: 0 B/s, write: 0 B/s
ERROR: job failed with err -5 - Input/output error

Gefolgt von einer solchen Meldung auf dem node:

Code: 
Apr 24 06:38:32 PVE01 iscsid[2133]: Kernel reported iSCSI connection 2:0 error (1022 - ISCSI_ERR_NOP_TIMEDOUT: A NOP has timed out) state (3)
Apr 24 06:43:09 PVE01 iscsid[2133]: connection2:0 is operational after recovery (19 attempts)

Und die VM ersaht danach.

Ich habe auf dem Selben Nas auch einen NFS Share und da habe ich keine Probleme, wie auch wenn ich iscsi auf meiner Synology nutze keine Probleme die VMS laufen auch während eines backups ohne Problem.


Den MTU wert habe ich beidseitig auf 9000 gesetzt und Jumbo-Frames im Netzwerk aktiviert, dies kann nur global eingestellt werden.
Ich bin ziemlich ratlos wo sich der Fehler befindet darum hoffe ich auf eure Hilfe.

Gruss
Toby-ch
 
Last edited:
Wie sieht denn dein Netzwerksetup aus?
Eventuell irgendwo ein Uplink überlastet?
Warum nutzt du überhaupt iSCSI? NFS macht dein NAS nativ und für iSCSI werden Container Dateien auf das Dateisystem gelegt, welche du mit extra Overhead als iSCSI LUN präsentiert bekommst.
Macht mehr Arbeit, mehr Overhead und Fehleranfälliger….. Daher eher NFS nutzen. ;)
 
Wie sieht denn dein Netzwerksetup aus?
Alle Nodes sind mit einem Bond 2x10G SFP+ am switch angebunden:
ich habe mehre VLAN's für ISCSI und NFS ein eigenes, in dem befindet sich auch das NAS.
Code: 
auto bond0
iface bond0 inet manual
        bond-slaves enp2s0f0np0 enp2s0f1np1
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4
        mtu 9000
        bond-downdelay 200
        bond-updelay 200
        bond-primary-reselect always
auto vmbr0
iface vmbr0 inet static
        address 192.168.1.101/23
        gateway 192.168.0.3
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
        mtu 9000

auto vmbr666
iface vmbr666 inet manual
        bridge-ports vlan666
        bridge-stp off
        bridge-fd 0
        
auto vlan666
iface vlan666 inet manual
        vlan-raw-device bond0
Eventuell irgendwo ein Uplink überlastet?
Click to expand...
Dies habe ich mehrfach geprüft und nichts gefunden, ich habe sogar die VDISKs begrenzt auf 300MB/s selbst da hatte sie disconnects.
Warum nutzt du überhaupt iSCSI? NFS macht dein NAS nativ und für iSCSI werden Container Dateien auf das Dateisystem gelegt, welche du mit extra Overhead als iSCSI LUN präsentiert bekommst.
Click to expand...
Ich lies mich von den Punkten Leiten:
-Geringere Latenz, da direkt auf Block-Storage zugegriffen wird.
-Höhere Performance, da Block-Level-Zugriff und weniger Overhead
Ich hatte die Befürchtung das die vms zu langsam sind via NFS.
 
Toby-ch said:
Wie sieht denn dein Netzwerksetup aus?
Alle Nodes sind mit einem Bond 2x10G SFP+ am switch angebunden:
ich habe mehre VLAN's für ISCSI und NFS ein eigenes, in dem befindet sich auch das NAS.
Code: 
auto bond0
iface bond0 inet manual
        bond-slaves enp2s0f0np0 enp2s0f1np1
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4
        mtu 9000
        bond-downdelay 200
        bond-updelay 200
        bond-primary-reselect always
auto vmbr0
iface vmbr0 inet static
        address 192.168.1.101/23
        gateway 192.168.0.3
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
        mtu 9000

auto vmbr666
iface vmbr666 inet manual
        bridge-ports vlan666
        bridge-stp off
        bridge-fd 0
       
auto vlan666
iface vlan666 inet manual
        vlan-raw-device bond0
Click to expand...
Wo sind denn die vielen VLANs? Laut der Konfiguration hat dein Host nur eine IP.
Toby-ch said:
Dies habe ich mehrfach geprüft und nichts gefunden, ich habe sogar die VDISKs begrenzt auf 300MB/s selbst da hatte sie disconnects.

Ich lies mich von den Punkten Leiten:
-Geringere Latenz, da direkt auf Block-Storage zugegriffen wird.
Click to expand...
Ja, bei echten Block Storages kann man das sagen. Du hast aber ein NAS, was auf dem Filesystem wo die NFS Daten abgelegt werden, eine Datei ablegt welche als iSCSI Speicher zur Verfügung gestellt wird.
Toby-ch said:
-Höhere Performance, da Block-Level-Zugriff und weniger Overhead
Ich hatte die Befürchtung das die vms zu langsam sind via NFS.
Click to expand...
Naja du hast bei NFS etwas mehr Overhead als bei iSCSI, aber dafür deutlich mehr Overhead im NAS.
Wenn du ein natives Blockstorage hast, dann ist iSCSI, SAS oder FC natürlich besser.
 
Sorry für meine verspätete Rückmeldung ich war leider ziemlich beschäftigt...o_O
Falk R. said:
Wo sind denn die vielen VLANs? Laut der Konfiguration hat dein Host nur eine IP.
Click to expand...
alle VLAN haben einen Netzwerk Bridge:
Code: 
bridge-ports vlan666
die wiederum hat als Verbindung den Bond
Code: 
vlan-raw-device bond0
Und nur dieser hat eine iP
Code: 
auto bond0
iface bond0 inet manual
        bond-slaves enp2s0f0np0 enp2s0f1np1
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4
        mtu 9000
        bond-downdelay 200
        bond-updelay 200
        bond-primary-reselect always
Auf dem Switch ist das Home Lan ( 192.168.0.0 / 23) als untagd Vlan konfiguriert
Alle anderen VLAN sind über den Tag zu erreichen

Für das besser Verständnis habe ich noch die komplette interface config angefügt.
Eigentlich dienen die Bridges dafür das ich bei den VMS nicht den VLANTag setzten muss sondern ich kann der VM dann das gewünschte interface geben und so ist diese im richtigen VLAN.

Gibt es eine besser Lösung?
Falk R. said:
Wenn du ein natives Blockstorage hast, dann ist iSCSI, SAS oder FC natürlich besser.
Click to expand...
Nein den habe ich nicht, ich frage mich halt was mach Synology anders als Haustore das es dort ohne Problem funktioniert selbst auf einer DS620SLIM
Das Ticket ist noch offen bei Asustore jedoch verspreche ich mir nicht viel.


Gruss Toby-ch
 

Attachments

Scheinbar machst du alles über deine Managment IP.
Wenn du iSCSI nutzen möchtest, solltest du für das iSCSI Netz keine Bridge nutzen. Empfohlen werden auch immer dedizierte Netzwerkkarten.
Die IP für das iSCSI gibst du entweder direkt auf der Netzwerkkarte oder dem bond. Bei dir am besten auf dem VLAN Interface.
Wenn du eh NAS benutzt, solltest du lieber NFS nutzen. Der Overhead ist ähnlich, aber du hast mehr Features.
 
Das Feature was die meisten haben wollen ist Snapshots.
NFS ist auch viel einfacher zu handhaben.
Ob du nconnect nutzt, hängt etwas von deinem NAS ab. Du kannst die Option erst ab NFS 4.1 nutzen und musst du dann von Hand eintragen.
Wenn du NFS 4.1 hast, mache doch eine Verbindung und schiebe eine TestVM drauf. Dann mit nconnect die Verbindungen erhöhen und testen ob die VM läuft. Wenn ja, ist alles richtig.
 
Bei der VM Hardware habe ich bei eigen VMS als Controller anstelle eines SATA einen SCSI Controller macht dies einen unterschied wenn ich nun keine ISCSI mehr nutzen, eigentlich sollte dies doch keine rolle spielen da es Virtuell ist ?
 
Toby-ch said:
Bei der VM Hardware habe ich bei eigen VMS als Controller anstelle eines SATA einen SCSI Controller macht dies einen unterschied wenn ich nun keine ISCSI mehr nutzen, eigentlich sollte dies doch keine rolle spielen da es Virtuell ist ?
Click to expand...
Welchen virtuellen Controller du nutzt, interessiert nur die VM, was diese sieht. Was du als Storage benutzt ist egal.
 
You must log in or register to reply here.
Top Bottom