Vm write problems and vioscsi reset on ZFS

[helptec]

Hallo,
in the last mont I have faced several Vm write problems and vioscsi reset on ZFS and 4 times i had to restore corrupted VMs from backup.

My setup have two identical pve hosts, both with same problems

CPU(s) 32 x AMD EPYC 7282 16-Core Processor (1 Socket)
Kernel Version Linux 5.15.131-2-pve #1 SMP PVE 5.15.131-3 (2023-12-01T13:42Z)
PVE Manager Version pve-manager/7.4-17/513c62be

Storage ZFS based on 4 x Nvme INTEL SSDPF2KE016T1 in raidz

I have tried to disable Qemu Guest Agent, to downgrade virtio drivers from 0.1.240 to 0.1.229, to change vm type from pc-i440 to pc-q35 but nothing change.

Every day I get the following error events of VIOSCSI, ESENT, VSS on several VMs on both hosts

Nome registro: Application
Origine:       ESENT
Data:          28/02/2024 21:12:26
ID evento:     533
Categoria attività:Generale
Livello:       Avviso
Parole chiave: Classico
Utente:        N/D
Computer:      zeus
Descrizione:
svchost (1544,D,0) SoftwareUsageMetrics-Svc: Una richiesta di scrittura nel file "C:\Windows\system32\LogFiles\Sum\Svc.log" all'offset 4403200 (0x0000000000433000) per 4096 (0x00001000) byte non è stata completata per 36 secondi. Il problema è dovuto probabilmente a hardware difettoso. Contattare il fornitore dell'hardware per assistenza nell'individuazione del problema.

---------------------------------

Nome registro: System
Origine:       vioscsi
Data:          28/02/2024 21:21:40
ID evento:     129
Categoria attività:Nessuna
Livello:       Avviso
Parole chiave: Classico
Utente:        N/D
Computer:      zeus
Descrizione:
Emessa reimpostazione a dispositivo \Device\RaidPort1.

---------------------------------

Nome registro: Application
Origine:       VSS
Data:          28/02/2024 21:11:08
ID evento:     12340
Categoria attività:Nessuna
Livello:       Errore
Parole chiave: Classico
Utente:        N/D
Computer:      zeus
Descrizione:
Errore del servizio Copia Shadow del volume: il servizio ha atteso lo svuotamento di tutti i volumi per più di 40 secondi. Timeout del volume \\?\Volume{fbc0bcbb-92ef-4c4f-b7d8-4629cd495617}\ durante l'attesa della fase di rilascio delle operazioni di scrittura della creazione della copia shadow. Per risolvere il problema riprovare quando l'attività del disco è inferiore.

Operazione:
   Esecuzione operazione asincrona

Contesto:
   Stato corrente: flush-and-hold writes
   Nome volume: \\?\Volume{fbc0bcbb-92ef-4c4f-b7d8-4629cd495617}\