Wo sind 20 TB hin?

SpeckiTime

New Member
Nov 3, 2023
3
0
1
Hallo zusammen,

ich habe seit kurzem das Problem, dass meine Festplatte vollläuft, obwohl kein Datenzuwachs in der VM passiert.

Technische Daten:
2x Intel(R) Xeon(R) Silver 4309Y CPU
12x 16GB DDR4
2x SSD RAID1 500GB
10x SAS HDD RAID5 16TB

1702886440922.png

---

auf dem Server läuft eine Windows VM

Windows VM:
16 Core
128 GB Ram
100 GB SSD
55 TB HDD
55 TB HDD

1702886469499.png

Auf dem SSD Pool:
1702886692125.png

Auf dem HDD Pool:
1702886661331.png

---

Das Problem:

Effektiv müssten also rund 118.826,32 GB belegt sein, das also rund 20 TB müssten noch auf dem HDD Pool leer sein. Nun ist das aber so das laut Proxmox der Pool voll ist und ich verstehe nicht, warum bzw. warum 20 TB mehr belegt sind? Kann mir hier jemand vielleicht Helfen wie ich vorgehen kann bzw. was vielleicht die Ursache ist.

Wichtig noch der HDD Pool ist ein LVM-Thin Volumen.

1702886908546.png

Würde mich sehr über Meinungen und Lösungsansätze freuen.

Vielen Dank im Voraus.
 
Last edited:
144 TB / 8 Disks ergibt mind. 18 TB Disks, bei einem RAID 5 verlierst du den Speicher einer HDD, insofern dürftest du maximal nach deinen Angaben 112 TB zur Verfügung haben. Irgendwo stimmt hier also irgendwas nicht oder du hast uns ein paar Infos unterschlagen.

Was ich aber auch sehe, du hast kein discard Flag an den Platten aktiviert. Auch solltest du von virtio auf scsi umstellen.
 
  • Like
Reactions: Dunuin
Ja, ohne das Discard wird kein TRIM/Discard klappen und LVM-Thin kann nichts Gelöschtes wieder freimachen. Also erstmal gucken, dass du das Discard für die virtuelle Disk aktivierst und dann auch gucken, dass da dein Windows regelmäßig die virtuelle Disk optimiert und trimmt.
Und guck mal ob du vielleicht Snapshots gemacht hast. Die verhindern ja auch ein Freimachen von Gelöschtem.
 
Last edited:
  • Like
Reactions: SpeckiTime
144 TB / 8 Disks ergibt mind. 18 TB Disks, bei einem RAID 5 verlierst du den Speicher einer HDD, insofern dürftest du maximal nach deinen Angaben 112 TB zur Verfügung haben. Irgendwo stimmt hier also irgendwas nicht oder du hast uns ein paar Infos unterschlagen.

Was ich aber auch sehe, du hast kein discard Flag an den Platten aktiviert. Auch solltest du von virtio auf scsi umstellen.

Ja es sind tatsächlich 10x 16TB verbaut und nicht 8x habe ich korrigiert. Sorry.

discard flag habe ich nun eingestellt und werde die VM gleich mal rebooten, eine Frage habe, warum sollte ich von virtio auf scsi umstellen?
 
Weil das die offiziellen Best Practices für Windows-Gäste sind:
  • For your virtual hard disk select "SCSI" as bus with "VirtIO SCSI" as controller. Set "Write back" as cache option for best performance (the "No cache" default is safer, but slower) and tick "Discard" to optimally use disk space (TRIM).
Hast du das beste Set an Features, Performance und hoffentlich mehr Stabilität, da es mehr nutzen und es dann besser getestet ist.
 
Hallo zusammen,

ich habe seit kurzem das Problem, dass meine Festplatte vollläuft, obwohl kein Datenzuwachs in der VM passiert.

Technische Daten:
2x Intel(R) Xeon(R) Silver 4309Y CPU
12x 16GB DDR4
2x SSD RAID1 500GB
10x SAS HDD RAID5 16TB

View attachment 59977

---

auf dem Server läuft eine Windows VM

Windows VM:
16 Core
128 GB Ram
100 GB SSD
55 TB HDD
55 TB HDD

View attachment 59978

Auf dem SSD Pool:
View attachment 59980

Auf dem HDD Pool:
View attachment 59979

---

Das Problem:

Effektiv müssten also rund 118.826,32 GB belegt sein, das also rund 20 TB müssten noch auf dem HDD Pool leer sein. Nun ist das aber so das laut Proxmox der Pool voll ist und ich verstehe nicht, warum bzw. warum 20 TB mehr belegt sind? Kann mir hier jemand vielleicht Helfen wie ich vorgehen kann bzw. was vielleicht die Ursache ist.

Wichtig noch der HDD Pool ist ein LVM-Thin Volumen.

View attachment 59981

Würde mich sehr über Meinungen und Lösungsansätze freuen.

Vielen Dank im Voraus.
sind wahrscheinlich die snapshots?!

Am besten die Ausgabe von folgenden Befehlen posten
Code:
pvs
vgs
lvs
Übrigens halte ich Raid-5 mit 10 16TB-Disk für äußerst gefährlich. Die Chance das bei einem Rebuild die nächste Disk ausfällt ist nicht so gering…

Udo
 
Last edited:
  • Like
Reactions: Falk R.
Ja, ohne das Discard wird kein TRIM/Discard klappen und LVM-Thin kann nichts Gelöschtes wieder freimachen. Also erstmal gucken, dass du das Discard für die virtuelle Disk aktivierst und dann auch gucken, dass da dein Windows regelmäßig die virtuelle Disk optimiert und trimmt.
Und guck mal ob du vielleicht Snapshots gemacht hast. Die verhindern ja auch ein Freimachen von Gelöschtem.
Ich habe es aktiviert, auch nochmal Snapshot gelöscht usw. wie beschreiben und nun sieht wieder alles gut aus. Vielen Dank auch an @sb-jw
sind wahrscheinlich die snapshots?!

Am besten die Ausgabe von folgenden Befehlen posten
Code:
pvs
vgs
lvs
Übrigens halte ich Raid-5 mit 10 16TB-Disk für äußerst gefährlich. Die Chance das bei einem Rebuild die nächste Disk ausfällt ist nicht so gering…

Udo
snapshots 2 war bei mir extrem groß (ca. 10TB), obwohl in Proxmox nur 256GB stand.

Das ist ein Backup vom Backup, somit wird hier nur RAID5 betreiben.
 
Snapshots sind kein Backup und RAID ist erst recht kein Backup. Ich hoffe du machst ein vernünftiges Backup z.B. mit dem PBS (Proxmox Backup Server)
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!