ZFS io-Probleme

[Regulus]

Hallo zusammen,

ich lese zwar schon geraume Zeit mit und habe zahlreiche Hilfestellungen gefunden. Jetzt aber habe ich mich registriert, da ich nicht weiter komme...

Ich möchte von meiner Synology Rackstation umsteigen auf Proxmox und die Sync nur noch zur Datensicherung nutzen. Dazu habe ich hier einen Server mit einer Nvme (2TB) sowie 4x16TB Seagate Festplatten. Proxmox habe ich auf der Name installiert, die Rackstationüber Cifs/Smb als Storage eingebunden und versuche nunmehr die 4 Platten als raidz oder raid10 ZFS als Storage einzubinden. Leider bislang ohne wirklichen Erfolg. Spätestens wenn ich eine VM aus dem Backup auf der Rackstation zurückspielen möchte (dann natürlich auf das ZFS-volume) bekomme ich die Fehlermeldung, daß ZFS unavailabe wg. IO ist

Nach einem Pool clear läufts kurz weiter und bekommt dann erneut die gleiche Fehlermeldung.

Ich bin offensichtlich kein IT-Sezialist, aber ein wißbegieriger Neuling und hoffe auf Eure Unterstützung.

Sollten weitere Info's von Nöten sein, liefere ich die gerne nach!

Danke vorab

 

[devaux]

Nochmal zum Verstaendnis. Die 2TB NVMe und die 4x16TB hast im Server eingebaut?
Erstmal wuerde das Synology als NFS einbinden. Ist einfacher, schneller und flexibler. ZFS mit mechanischen Platten ist immer recht langsam. Vor allem in RAIDz1. Probiere mal als ZFS mirror (ist bei HDDs empfohlen) und schaue, ob es so besser geht. Auch RAM ist bei ZFS recht wichtig und natuerlich die Anbindung ueber den lokalen Controller des Mainboards. Schau mal hier: https://pve.proxmox.com/wiki/ZFS_on_Linux

Du kannst auch mal probieren das root-system (ich nehme an das ist auf der NVMe?) als ZFS zu partitionieren (auch als Datastore fuer VMs aktivieren) und dann schauen, ob Du dort auch diese Phaenomene hast.
Auf einer single NVMe sollte ZFS eigentlich recht gut laufen.

 

[Regulus]

Nochmal zum Verstaendnis. Die 2TB NVMe und die 4x16TB hast im Server eingebaut?
Erstmal wuerde das Synology als NFS einbinden. Ist einfacher, schneller und flexibler. ZFS mit mechanischen Platten ist immer recht langsam. Vor allem in RAIDz1. Probiere mal als ZFS mirror (ist bei HDDs empfohlen) und schaue, ob es so besser geht. Auch RAM ist bei ZFS recht wichtig und natuerlich die Anbindung ueber den lokalen Controller des Mainboards. Schau mal hier: https://pve.proxmox.com/wiki/ZFS_on_Linux

Du kannst auch mal probieren das root-system (ich nehme an das ist auf der NVMe?) als ZFS zu partitionieren (auch als Datastore fuer VMs aktivieren) und dann schauen, ob Du dort auch diese Phaenomene hast.
Auf einer single NVMe sollte ZFS eigentlich recht gut laufen.

Hallo devaux,

danke für die Rückmeldung.

Also, ich habe einen Server mit einem SuperMicro XP11 Mainboard mit 128G RAM, sowie den 4 Hdd´s und der nvme. Das Syno-Rack habe ich derzeit über Smb verbunden. Läuft einwandfrei, sowohl als Backup-Storage als auch mit den Isos etc. Nun möchte ich die 4 Hdd´s à 16 TB (im Server verbaut) gerne auch mit ZFS nutzen wegen Snapshot etc. Richte ich sie als DIR ein, kein Problem. Als ZFS aber bekomme ich sowohl im Raidz als auch über Raid10, ja sogar bei einzelnen Platten (sofern ich halt nur eine anspreche) nach einiger Zeit stets die IO-Probleme und der Pool gilt zunächst als degraded, kurz darauf als suspended.


Ich hab diverse Szenarien ausprobiert, aber im Ergebnis immer das Gleiche...

Bestimmt nur eine Kleinigkeit, ich finde des Rätsels Lösung aber nicht!

 

[Regulus]

Ach ja, vergessen:

Proxmox selbst läuft auf der nvme und die VM´s auf der Nvme laufen problemlos und recht fix!

Wäre NFS hinsichtlich der Syno sinnvoller als SMB?

 

[Regulus]

root@pve:~# zpool status -x
pool: ZFS1
state: SUSPENDED
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-HC
scan: resilvered 68.1M in 00:00:01 with 0 errors on Fri May 31 17:06:29 2024
config:

NAME STATE READ WRITE CKSUM
ZFS1 UNAVAIL 0 0 0 insufficient replicas
mirror-0 UNAVAIL 0 0 0 insufficient replicas
ata-ST16000NM001G-2KK103_ZL2FVCT4 UNAVAIL 0 0 0
ata-ST16000NM001G-2KK103_ZL2FRHLB UNAVAIL 0 0 0

errors: 4893 data errors, use '-v' for a list

Soweit der aktuelle Status...

 

[floh8]

lese mal den smart der platten aus und mache mal einen smart test. deine platten sind vielleicht nicht koscher.

 

[Regulus]

Hi floh8,

bereits getan für alle 4 Platten, ergebnislos!

War auch mein erster Gedanke.

Momentan bin ich noch der Meinung, daß die nvme "zu schnell" ist für die HDD's und dadurch dieser Fehler hervorgerufen wird. Aber ehrlich gesagt, stochere ich im Nebel.

Versuche gerade, das System auf einer Festplatte laufen zu lassen, dann anschließend die Übrigen als ZFS einzubinden (also alles ohne nvme) und hoffen...

 

[bluesite]

was für HDDs sind es denn genau?

 

[floh8]

dann mach mal memtest!

 

[Regulus]

 

[khe]

Wenn die HDDs direkt auf dem SuperMicro Board an die SATA Schnittstellen angeschlossen sind, leg dir eine PCIe Karte zu, die IT-Mode unterstützt. Eine einfache LSI SAS 2008 tut es für HDDs und braucht auch keine eigene Stromversorgung.
Auf meinem SuperMicro Board (X11-SAE-M) sind die Onboard SATA Schnittstellen überfordert (sprich langsam), wenn mehrere gleichzeitig Daten rüberschieben. Ich hatte mit RAIDZ2 auf 6 Platten nur so 250 - 300M. Mit der PCIe Karte mit LSI SAS 2008 Chip dann 600-680M. Mit den gleichen Platten.

Und teste deinen RAM. Speicherfehler können auch komische Auswirkungen haben. (Habe gerade das Problem )

 

[bluesite]

ich hab in meinem Server auch einen LSI SAS2008 drin aber meine HDDs sind da nur einzeln dran als Datengrab und verschlüsselt mit luks
sieht man im Log irgendwelche Fehler?

 

[Regulus]

aktuell läuft memtest86+, bislang ohne Auffälligkeiten.

Abwarten und schon mal weiterdenken, ob das Mainboard X11DPi-NT und sein Xeon Bronze 3240 die Platten zuballern bis zur Aufgabe

 

[Regulus]

Im Log habe ich bislang nichts gefunden, kann es aber nach dem Test nochmals prüfen und online stellen

 

[cwt]

Den SATA Controller würde ich eigentlich ausschließen. Der dürfte genügend Wumms liefern (habe den gleichen Chipsatz mit 8x 3,6TB PLP SSDs und einem ZFS striped mirror im Einsatz).

Was spuckt

smartctl -a

denn für die Exos aus? In der Tabelle sollten Dir die möglichen und die gesetze Formatierung angezeigt werden (die aktuell verwendete wird mit einem + markiert). Die Formatierung neben „0“ stellt den idealen Wert dar.

Hatte mit Exos HDDs schon deutliche Unterschiede bei nichtoptimaler Formatierung feststellen dürfen.

 

[Regulus]

So weit, so gut!

Später folgt dann noch der smartctl -a

 

[Regulus]

smartctl jeweils ohne Fehler durchlaufen...

Ich finde keinen Ansatz ...

 

[cwt]

Und was war der output von

smartctl -a /dev/sdX (wobei X für eine der Exos steht)? Nur aus Interesse.

 

[floh8]

Controller,kabel tauschen,low level formatieren