Status: io-error

[Berndomat]

Hallo zusammen,

ich stehe vor folgendem Problem und suche hierzu Unterstützung:
- Proxmox VE 6.1-3
- 1 x 200 GB SSD für Proxmox und Gast-Betriebssystem
- 3 x 4 TB als ZFS Raid5 für Daten

- darauf eine einzige VM (OMV als NAS für Backups und lokales Datengrab)
- Hard Disk 1 (virtio0) auf local-lvm (Betriebssystem)
- Hard Disk 2 (virtio1) auf raidpool (Daten)

- OMV lässt sich nicht mehr starten -> Fehler io-error
- häng ich die Disk 2 aus so startet OMV problemlos
- das liegt also nun wahrscheinlich daran, dass das ZFS sagt es wäre zu 100% voll: 100% of 7.04 TB
- nun wundere ich mich wo der Platz auf dem ZFS hin ist. Dort liegt eigentlich nur die 6TB Datendisk fürs OMV

- Dazu kommt das eine der Platten aus dem ZFS mit Hardwaredefekt ausgestiegen ist.
Jedoch denk ich mir da so, dass ZFS genau das aushalten soll. Was es ja auch behauptet.
Scrub hat nichts gefunden.

- Nun frag ich mich wie find ich raus wohin der Platz auf dem ZFS verschwunden ist und / oder was sonst den io-error verursacht.

Eine neue Platte fürs Raid 5 ist unterwegs. Aber wie gesagt: ZFS sagt es sei einsatzfähig.

Vielen Dank vorab!
Grüße Berndomat

 

[Stoiko Ivanov]

Am wahrscheinlichsten ist das das Resultat, aus dem RAIDZ1 - siehe:
https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#sysadmin_zfs_raid_considerations

Ansonsten wären auch noch snapshots potentielle Quellen für den Mehrverbrauch...

Ich hoffe das hilft!

 

[Berndomat]

Hallo,

sorry für den Doppelpost. Der erste Post war für mich in der Übersicht nicht auffindbar (Browser-Cache?!)

Danke für die Unterstützung soweit.
Snapshot kann ich ausschließen, da nie genutzt.

"zfs get ..." zeigt die bekannte Problematik.
Ich verstehe den Link von oben so, dass wahrscheinlich die Parity Geschichten den erhöhten Platzverbrauch verursacht haben.
Jetzt frag ich mich, wie komm ich da wieder raus ?
- Die Platte für die Guest-VM schrumpfen (erst vor kurzem vergrößert, sollte also noch ungenutzen Platz haben) - bloss wie ?
- Hoffnungsloser Fall
- Ideen?

Dank und Gruß

 

[Stoiko Ivanov]

Ich verstehe den Link von oben so, dass wahrscheinlich die Parity Geschichten den erhöhten Platzverbrauch verursacht haben.

ja - genau

- Die Platte für die Guest-VM schrumpfen (erst vor kurzem vergrößert, sollte also noch ungenutzen Platz haben) - bloss wie ?

Vergrößern ist immer leichter als verkleinern - da bei letzterem immer die chance für einen Datenverlust besteht (falls doch mal was falsch abgeschnitten wird) - würde ich nur in Erwägung ziehen, wenn ein wirklich verlässliches und getestetes Backup der Daten vorhanden ist.
Falls ja - kommt es sehr starkt darauf an, wie die disk im Gast aufgeteilt ist (partitionstabelle, lvm?, ZFS?, filesystem? - da muss alles Schritt für Schritt angepasst werden (gibt aber einiges an HOWTOs im Netz)

- Hoffnungsloser Fall

Nein - ist es nicht

- Ideen?

Je nach Budget - wäre eine gute Möglichkeit - 2 neue (größere) Disken zu nehmen - als ZFS Mirror zu konfigurieren und dann mittels ZFS send-receive (disk-move in der GUI könnte potentiell auch funktionieren) die disk auf die neuen Disken zu migrieren.

Hat auch den Vorteil, das Mirrors (oder wenn mehr disken gebraucht werden RAID 10) um einiges performanter sein sollten.

Ich hoffe das hilft!

 

[Berndomat]

Puhh,
Verkleinern wird wohl schwierig, weil das Gastbetriebssystem ja sofort aussteigt, sobald die betroffene Disk eingehängt wird.
Any ideas, wie das Volume nur auf Proxmox Ebene zu schrumpfen ist?

Hardwaremäßig aufrüsten hieße 3 x 4TB Platten aufs Abstellgleis zu stellen - Klingt nicht attraktiv.
Ein Raid 10 ist wohl overkill: Ist ja nur ein Backupsystem / Datengrab und Performance im Ranking deutlich niedriger als Plattenplatz.
(BTW der Server hat nur 4xSATA davon 1 für Betriebssystem SSD geblockt)

Ist es möglich das 6TB zvol vom Gast über Kompression soweit zu verkleinern, dass ich das System wie es ist temporär rette und ein wenig Zeit gewinne?
(Die gesamte Backup-Historie zu verlieren ist halt auch uncool.)

Schade, schade, dass man Volumes anlegen kann, die gar nicht auf den darunterliegenden zfs pool passen...
Oder hab ich eine Warnung übersehen / weggeklickt?
Ich habe des zvol erst vor kurzem von 4,5 auf 6 TB hochgeschraubt. Ich kann mich an keinen Hinweis erinnern.
Wär ich lieber sparsamer gewesen (

Das zvol auf eine temporäre, externe Platte schieben und beim Zurückschieben volblocksize auf 16k hochdrehen? Geht wohl nicht...

Tröstlich nicht der einzige zu sein der in diese Falle rennt:
https://forum.proxmox.com/threads/zfs-counts-double-the-space.71536/#post-320919

Weitere konkrete Ideen?
Dank und Gruß
Berndomat, der Desillusionierte

 

[Berndomat]

Ich bin immer noch verwundert, da ich refreservation nur bei 6.04T liegt aber used bei 7.04T. siehe Attachment
Hat das refreservation keine Bedeutung?

 

[Berndomat]

Hallo an alle Interessierten,

mit dem Befehl in der Proxmox Console

echo 6 > /sys/module/zfs/parameters/spa_slop_shift

konnte ich den vom ZFS in der Hinterhand gehaltenen Speicher reduzieren und hab somit auf einen Schlag 119 GB freien Platz im ZFS-Pool erhalten. Damit läuft die VM nun wieder an (ohne io-error). Puh.

Das hier hat mich auf den Trichter gebracht: https://unix.stackexchange.com/ques...t-vs-zfs-list-why-free-space-is-10x-different

Danke für die Unterstützung soweit.
mal schauen wie lange der freie Speicher frei bleibt.
Zumindest habe ich heute die Möglichkeit nochmal die Partition durchzugehen und die wichtigsten Sachen zu verschieben.