[SOLVED] zfs over iscsi Fehler beim Rollback

[crmspezi]

Hallo zusammen,
beim Rollback einer VM, die die Datenträger auf einem Debian Server mit pve ZFS Kernel (OpenMediaVault) als zfs liegen hat, trat beim Rollback folgender Fehler auf:
UploadGather
File "/usr/lib/python3/dist-packages/rtslib_fb/tcm.py", line 215, in _gen_attached_luns
for tpgt_dir in listdir(tpgts_base):
NotADirectoryError: [Errno 20] Not a directory: '/sys/kernel/config/target/iscsi/cpus_allowed_list'

Auf der OpenMediaVault NAS sieht man mit targetcli, das es keine LUN Einträger mehr dort gibt. Die ZFS VDEVs sind aber vorhanden. Auch ein Restore mittels "targetctl restore <Config-File>" führt zur gleichen Fehlermeldung auf der NAS mit dem Proxmox ZFS Kernel.

Hat jemand eine Idee?

 

[fireon]

Hallo @crmspezi

du musst mir das bitte ein wenig näher erklären, blick da noch nicht ganz durch...

Das freigegebene ZFS ist auf einem Debian mit Proxmox kernel? Also Debian installiert und Proxmox dann darüber installiert? Und OpenMediaVault liegt jetzt wo als was genau?

 

[crmspezi]

Hallo,
tut mir leid das ich dies ungenau erklärt habe.

• Die OMV (v6 Debian11) ist ein extra Gerät mit 2x40G Anbindung
• in der OMV ist ein PVE ZFS Kernel geladen (wird von OMV unterstützt)
• die OMV enthält mehrer SSDs (8x) in einem "Raid10" ZFS
• in der OMV ist rtslib-fb-target eingerichtet (nicht das Plugin von OMV)
• die OMV ist per ZFS over iSCSI an die PVEs angebunden
• mehrere VMs laufen auf dem Remote angebundenen Speicher
• keine Probleme treten mit OMV v4 (Debian 9 Basis) und OMV v5 (Debian 10 Basis) mit rtslib-fb-target auf
• auf der OMV (V6) tritt ebenfalls der o.g. Fehler (erster Post) auf, wenn man mit targetctl restore ein Backup der Config (LUNs) zurückfahren möchte. Dann wird nur die halbe Config geladen und alle LUNs sind weg
• ein normales Reboot der OMV (v6) zerstört die Konfig, wenn man die gebackupte Konfig nach /etc/rtslib-fb-target/saveconfig.json kopiert, scheinbar überschreibt dier OMV beim Beenden des Dienstes rtslib-fb-target die Konfig in /etc/rtslib-fb-target/saveconfig.json
• ein Test mit dem Kopieren der gebackupten Konfig nach /etc/rtslib-fb-target/saveconfig.json und hartem Ausschalten der OMV und wieder Einschalten, lädt genau dann diese Konfig der rtslib-fb-target und alles funktioniert wieder. Alle LUN Einträge sind wieder vorhanden.
• täglich läuft ein targetctl save <Configfile>, das scheint ja zu funktionieren, nur der Restore mit targetctl restore ... bricht genau wie der PVE beim Rollback mit "NotADirectoryError: [Errno 20] Not a directory: '/sys/kernel/config/target/iscsi/cpus_allowed_list'" ab. Danach sind die LUNs leider weg, also das "Inhaltsverzeichnis". Alle ZFS VDEVs sind ja noch da.

Ich glaube nicht, das das Problem auf PVE Seite liegt, da ja hier nur Befehle über SSh vom PVE zur NAS (target) gesendet werden. Allerdings erhoffe ich mir, das jemand auch diese Probleme mit rtslib-fb-target und Debian 11 hatte und mir einen Hinweis geben könnte.

Viele Grüße.

 

[fireon]

@crmspezi Vielen Dank für deinen ausführlichen Bericht .

Ich muss zugeben das ich das so noch nicht benutzt habe, und ich kann dir in diesem Fall jetzt auch nicht weiter helfen. Aber ich bin sicher das es jemanden hier gibt der dir Tips und zum Thema geben kann.

 

[Falk R.]

Ich befürchte das Setup ist so speziell, dass dir hier keiner helfen kann. Eventuell macht woanders auf der Welt jemand soetwas. Probiere es doch mal im Englischen bereich, aber ich mache dir trotzden keine sehr große Hoffnung.

Du könntest ja mal beim User bbgeek17 anfragen ob er zufällig helfen kann. Er hat viel Storage Erfahrung und kennt einige speziellere Setups.

 

[crmspezi]

@crmspezi Vielen Dank für deinen ausführlichen Bericht .

Ich muss zugeben das ich das so noch nicht benutzt habe, und ich kann dir in diesem Fall jetzt auch nicht weiter helfen. Aber ich bin sicher das es jemanden hier gibt der dir Tips und zum Thema geben kann.

Danke Dir für die Rückmeldung.

 

[crmspezi]

Ich befürchte das Setup ist so speziell, dass dir hier keiner helfen kann. Eventuell macht woanders auf der Welt jemand soetwas. Probiere es doch mal im Englischen bereich, aber ich mache dir trotzden keine sehr große Hoffnung.

Du könntest ja mal beim User bbgeek17 anfragen ob er zufällig helfen kann. Er hat viel Storage Erfahrung und kennt einige speziellere Setups.

Hallo Falk,
Danke für Deine Rückmeldung.
Aber so speziell ist mein Fall ja nicht, bestimmt kommt aber bei der Ausführlichkeit meiner Anstriche hier schnell das Gefühl auf.

Ich würde es so zusammenfassen:

PVE unterstützt ZFS Over ISCSI. Man nehme eine PVE 7.x Installation (ist ja Debian 11) und installiert dann wie hier der Kollege das Target drauf. Das war mein Vorbild im Jahre 2019 dazu.
https://deepdoc.at/dokuwiki/doku.ph...ox_debian_als_zfs-over-iscsi_server_verwenden
Schon hat man genau das was ich verwende (ohne Openmediavault als Basis).


Vielen Dank für die den Tipp mit bbgeek17 und viele Grüße!

 

[crmspezi]

Zur Info an alle,
ich konnte das Problem lösen.

Ein Update von Openmediavault 6 auf Openmediavault 7, zusammen mit zfs utils / DKMS und pve Kernel 6.5 lösste das Problem komplett. Es gibt nun im pve keine Fehler mehr beim Zugrif zfs over iscsi mit Rollbacks, löschen, etc. Es lassen sich nun auch mit tagetcli configs sichern und restoren.

Viele Grüße