[SOLVED] Gemountete Platte müllt sich voll

[Crazy32]

Moin allerseits. Mein erster Beitrag hier Ich bin vor kurzem zufällig an einen ausgemusterten Terra Miniserver gekommen und habe angefangen mit proxmox rumzuspielen. Ich muss aber dazu sagen, dass ich mit Linux bisher nicht viel zu tun hatte, daher bin ich eigentlich schon froh das ich es so weit geschafft habe

Aktuell sieht mein System so aus:



Mir geht es um die Local2-SSD-1TB (pve) Festplatte. Die habe ich als zweite Festplatte eingebaut und soll nur Daten lagern. Eigentlich ist die Platte leer. TrueNas ist zwar betriebsbereit, aber ich habe meine Daten von meinem Synology NAS noch nicht rübergeschoben. Die Platte ist in der Debian-VM gemountet und da habe ich testweise einen leeren Ordner erstellt. In der PBS-VM ist die Platte auch eingehängt. PBS habe ich aber erst die Tage aufgesetzt und nur ein Test-Backup erstellt, welches ich aber wieder gelöscht habe.

Wie ihr unten sehen könnt, müllt sich die Platte kontinuierlich zu. Und ich habe absolut keine Idee woran das liegen könnte und wie ich rausfinden kann, was die Daten draufschreibt und wie ich sie überhaupt sehen kann. Ich sehe ja nur, dass da Daten drauf sind. TrueNas sagt, die Platte ist leer. Wenn ich über den Dateiexplorer der Debian-VM auf die Platte zugreife, dann werden mir keine Dateien angezeigt außer mein angelegter, leerer Testordner.

über Hilfe würde ich mich echt freuen. Da ich ja noch Anfänger in Sachen Linux und Proxmox bin, weiß ich jetzt auch nicht genau, was ihr für Angaben braucht. Sagt es mir einfach, ich versuche Antworten zu geben Danke schon mal.

 

[floh8]

Die Platte ist in der Debian-VM gemountet und da habe ich testweise einen leeren Ordner erstellt. In der PBS-VM ist die Platte auch eingehängt.

du hast die platte an 2 VMs durchgereicht?
zeig mal die config von deinen VMs!

 

[Dunuin]

TrueNas ist zwar betriebsbereit, aber ich habe meine Daten von meinem Synology NAS noch nicht rübergeschoben. Die Platte ist in der Debian-VM gemountet und da habe ich testweise einen leeren Ordner erstellt. In der PBS-VM ist die Platte auch eingehängt. PBS habe ich aber erst die Tage aufgesetzt und nur ein Test-Backup erstellt, welches ich aber wieder gelöscht habe.

Du darfst eine Disk nicht in mehreren VMs/Hosts mounten. Damit machst du dir die Daten kaputt.
Eine Disk kann immer nur von einem OS benutzt werden. Wenn sich Host und mehrere VMs die Daten teilen sollen, reich die Disk in die TrueNAS VM durch, mounte sie NICHT im PVE host oder anderen VMs, lass TrueNAS sie per SMB/NFS Share teilen und binde dann den NFS/SMB Share im PVE Host oder anderen VMs ein.

 

[Crazy32]

du hast die platte an 2 VMs durchgereicht?
zeig mal die config von deinen VMs!

So, ich hoffe das hilft weiter:

 

[Dunuin]

Kann man so machen, finde ich persönlich aber eher unschön mit ZFS auf qcow2, wegen zusätzlichem Overhead, machen aber viele so. Da würde ich eher eine OpenMediaVault VM mit ext4/xfs benutzen statt TrueNAS mit seinem ZFS. Das wäre dann deutlich schlanker (die 8GB RAM für TrueNAS Core sind ja echt nur die Mindestanforderung und sehr wahrscheinlich ist das auch nur eine consumer SSD die eigentlich nicht für ZFS taugt?). Aber wenigstens ist deine Disk nicht mehrfach gemountet, sondern du hast nur virtuelle Disks auf der Partition der physichen Disk gespeichert, also ok bezüglich Datenintegrität.

 

[Crazy32]

Kann man so machen, finde ich persönlich aber eher unschön mit ZFS auf qcow2, wegen zusätzlichem Overhead, machen aber viele so

Ok, damit kann ich gerade nichts anfangen. ich habe das alles nach Anleitungen gemacht, schwer für mich rauszufinden, was da optimal ist oder auch nicht. Aber ich lese raus, dass das mounten nicht das Problem sein kann. Hast Du sonst noch eine Idee?

 

[Dunuin]

Qcow2 Images nutzen Thin-Provisioning. Da musst du Discard/TRIM in jeder VM einrichten, damit Platz von gelöschten Daten auch wieder freigegeben wird. Sonst wachsen dir die qcow2-Image-Dateien immer weiter. Würde mal vermuten Discard läuft für deine PBS VM nicht ordnungsgemäß. Du hast bei der Disk für die PBS VM z.B. die Discard-Checkbox nicht gesetzt. TRIM Befehle vom PBS erreichen also nie den PVE Host und der PVE Host verkleinert dann nicht wieder die Qcow2-Image-Datei. Da würde ich als erstes mal die Discard-Checkbox aktivieren, PBS VM neu starten und danach in der PBS VM einmal fstrim -a und ggf noch zpool trim DeinPoolName falls du ZFS nutzt.

 

[floh8]

also, dunuin hat ja schon generelles gesagt. ich denke auch, dass es overhead ist. allerdings wächst ja der verbauch an. ich weiß nicht, was zfs im standby betrieb so treibt. Auf jeden Fall hast du 'ne Overprovisioning, da du ja für 1 TB Festplatte 2x 1 TB virtuellen Speicher angelegt hast. Damit speichert das Filesystem natürlich auch für 1 TB die Metadaten. Folge mal den Trim-Anweisungen und wenn es weiter wächst, kannst du ja mal eine der beiden VMs ausschalten, um einzugrenzen, woher der Verbrauch kommt.

 

[Crazy32]

Qcow2 Images nutzen Thin-Provisioning. Da musst du Discard/TRIM in jeder VM einrichten, damit Platz von gelöschten Daten auch wieder freigegeben wird. Sonst wachsen dir die qcow2-Image-Dateien immer weiter. Würde mal vermuten Discard läuft für deine PBS VM nicht ordnungsgemäß. Du hast bei der Disk für die PBS VM z.B. die Discard-Checkbox nicht gesetzt. TRIM Befehle vom PBS erreichen also nie den PVE Host und der PVE Host verkleinert dann nicht wieder die Qcow2-Image-Datei. Da würde ich als erstes mal die Discard-Checkbox aktivieren, PBS VM neu starten und danach in der PBS VM einmal fstrim -a und ggf noch zpool trim DeinPoolName falls du ZFS nutzt.

Mit der Checkbox hattest Du tatsächlich recht, der Haken bei Discard fehlte. Ich habe dann die PBS VM neu gestartet und in der VM die Befehle eingegeben. Der belegte Speicher ist aber noch da.

 

[Dunuin]

Lässt du denn auch regelmäßig GC tasks in der PBS VM laufen? Was steht denn am Ende von dem Log deines letzten GC tasks? Da sollte dann stehen, wieviel Platz dein PBS gerade braucht. Wenn das so 200GB an Chunks sind, dann wäre ja alles normal.

 

[Crazy32]

Du meinst Garbage Collection, richtig? Ich bin ja noch am Anfang mit PBS und habe noch gar nichts eingerichtet. Ich habe aber eben mal auf "Start Garbage Collection" geklickt und am Ende stand das:

2023-04-06T14:54:55+02:00: Removed garbage: 0 B
2023-04-06T14:54:55+02:00: Removed chunks: 0
2023-04-06T14:54:55+02:00: Pending removals: 8.561 GiB (in 5484 chunks)
2023-04-06T14:54:55+02:00: Original data usage: 0 B
2023-04-06T14:54:55+02:00: On-Disk chunks: 0
2023-04-06T14:54:55+02:00: Deduplication factor: 1.00
2023-04-06T14:54:55+02:00: TASK OK


EDIT: Das Zumüllen passiert ja kontinuierlich seit Anfang februar. Die PBS VM habe ich aber erst seit ein paar Tagen. das kann es doch eigentlich nicht sein.

 

[Dunuin]

Und was sagt df -h am PVE Host? Hast du mal über die CLI geguckt, wie groß die qcow2 Dateien sind? Also mit dir zu dem Mountpoint deines Directory Storages navigieren und dann mal mit ls -la dessen Dateien auflisten. Dann solltest du ja sehen, ob eine von beiden zu viel Platz braucht.

 

[Crazy32]

root@pve:~# df -h Filesystem Size Used Avail Use% Mounted on udev 3.9G 0 3.9G 0% /dev tmpfs 792M 1.3M 790M 1% /run /dev/mapper/pve-root 94G 34G 56G 38% / tmpfs 3.9G 46M 3.9G 2% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock /dev/sda2 511M 336K 511M 1% /boot/efi /dev/sdb 916G 213G 657G 25% /mnt/sdb /dev/fuse 128M 20K 128M 1% /etc/pve tmpfs 792M 0 792M 0% /run/user/0 root@pve:~#

root@pve:~# dir /dev/sdb /dev/sdb root@pve:~# ls -la total 48 drwx------ 5 root root 4096 Apr 6 09:15 . drwxr-xr-x 18 root root 4096 Jan 5 15:05 .. -rw------- 1 root root 871 Apr 4 13:48 .bash_history -rw-r--r-- 1 root root 571 Apr 10 2021 .bashrc drwxr-xr-x 3 root root 4096 Apr 6 09:15 .cache -rw-r--r-- 1 root root 31 Jan 5 15:05 .forward drwxr-xr-x 3 root root 4096 Jan 5 20:46 .local -rw-r--r-- 1 root root 161 Jul 9 2019 .profile -rwxr-xr-x 1 root root 196 Jan 5 20:57 remove-subscription-warning.sh -rw------- 1 root root 1024 Jan 5 15:07 .rnd drwxr-xr-x 2 root root 4096 Jan 5 15:07 .ssh -rw-r--r-- 1 root root 170 Apr 6 13:57 .wget-hsts root@pve:~#

Das erste sagt mir, dass ich mir die 213Gb auf der Platte nicht einbilde Das Zweite sagt mir gar nichts...

 

[tom]

-rwxr-xr-x 1 root root 196 Jan 5 20:57 remove-subscription-warning.sh

Bitte keine third party scripts laufen lassen, das ist oft eine Quelle von Problemen. Viel besser: Subscription kaufen (oder die Info wegklicken).

 

[Crazy32]

Bitte keine third party scripts laufen lassen, das ist oft eine Quelle von Problemen. Viel besser: Subscription kaufen (oder die Info wegklicken).

Ja ok, kein Problem. Ich glaube das habe ich im Rahmen einer Anleitung für die Installation gemacht, sorry. Wie werde ich das wieder los?

 

[Dunuin]

/dev/sdb ist auch deine Disk selbst, nicht das gemountete Dateisystem. Das wäre dort: ls -la /mnt/sdb
Bzw liegen die virtuellen Disks dann vermutlich in ls -la /mnt/sdb/images/114 und ls -la /mnt/sdb/images/118

 

[Crazy32]

root@pve:~# ls -la /mnt/sdb total 28 drwxr-xr-x 4 root root 4096 Jan 5 21:34 . drwxr-xr-x 5 root root 4096 Jan 24 15:44 .. drwxr-xr-x 4 root root 4096 Apr 6 13:50 images drwx------ 2 root root 16384 Jan 5 21:17 lost+found root@pve:~#

Ich hoffe das war jetzt richtig.

 

[Dunuin]

Und das?

Bzw liegen die virtuellen Disks dann vermutlich in ls -la /mnt/sdb/images/114 und ls -la /mnt/sdb/images/118

 

[Crazy32]

Da kommt das hier:

root@pve:~# ls -la /mnt/sdb/images/114 total 9597672 drwxr----- 2 root root 4096 Apr 6 13:50 . drwxr-xr-x 4 root root 4096 Apr 6 13:50 .. -rw-r----- 1 root root 1073905926144 Apr 6 14:54 vm-114-disk-0.qcow2 root@pve:~# ls -la /mnt/sdb/images/118 total 213593272 drwxr----- 2 root root 4096 Feb 1 09:15 . drwxr-xr-x 4 root root 4096 Apr 6 13:50 .. -rw-r----- 1 root root 1073905926144 Apr 6 15:45 vm-118-disk-0.qcow2 root@pve:~#

 

[Dunuin]

Was genau nutzt du als Dateisystem unterhalb des Directory Storages? Ich hätte eigentlich erwartet, dass da die Qcow2-Image-Dateien mit ihrer "dünnen" Größe angezeigt werden und nicht mit der "dicken" Größe. Aber kann auch sein, dass das normal ist und ich das nur falsch in Erinnerung hatte mit dem Hole-Punshing.