Wo sind 20 TB hin?

[SpeckiTime]

Hallo zusammen,

ich habe seit kurzem das Problem, dass meine Festplatte vollläuft, obwohl kein Datenzuwachs in der VM passiert.

Technische Daten:
2x Intel(R) Xeon(R) Silver 4309Y CPU
12x 16GB DDR4
2x SSD RAID1 500GB
10x SAS HDD RAID5 16TB



---

auf dem Server läuft eine Windows VM

Windows VM:
16 Core
128 GB Ram
100 GB SSD
55 TB HDD
55 TB HDD



Auf dem SSD Pool:


Auf dem HDD Pool:


---

Das Problem:

Effektiv müssten also rund 118.826,32 GB belegt sein, das also rund 20 TB müssten noch auf dem HDD Pool leer sein. Nun ist das aber so das laut Proxmox der Pool voll ist und ich verstehe nicht, warum bzw. warum 20 TB mehr belegt sind? Kann mir hier jemand vielleicht Helfen wie ich vorgehen kann bzw. was vielleicht die Ursache ist.

Wichtig noch der HDD Pool ist ein LVM-Thin Volumen.



Würde mich sehr über Meinungen und Lösungsansätze freuen.

Vielen Dank im Voraus.

 

[sb-jw]

144 TB / 8 Disks ergibt mind. 18 TB Disks, bei einem RAID 5 verlierst du den Speicher einer HDD, insofern dürftest du maximal nach deinen Angaben 112 TB zur Verfügung haben. Irgendwo stimmt hier also irgendwas nicht oder du hast uns ein paar Infos unterschlagen.

Was ich aber auch sehe, du hast kein discard Flag an den Platten aktiviert. Auch solltest du von virtio auf scsi umstellen.

 

[Dunuin]

Ja, ohne das Discard wird kein TRIM/Discard klappen und LVM-Thin kann nichts Gelöschtes wieder freimachen. Also erstmal gucken, dass du das Discard für die virtuelle Disk aktivierst und dann auch gucken, dass da dein Windows regelmäßig die virtuelle Disk optimiert und trimmt.
Und guck mal ob du vielleicht Snapshots gemacht hast. Die verhindern ja auch ein Freimachen von Gelöschtem.

 

[SpeckiTime]

144 TB / 8 Disks ergibt mind. 18 TB Disks, bei einem RAID 5 verlierst du den Speicher einer HDD, insofern dürftest du maximal nach deinen Angaben 112 TB zur Verfügung haben. Irgendwo stimmt hier also irgendwas nicht oder du hast uns ein paar Infos unterschlagen.

Was ich aber auch sehe, du hast kein discard Flag an den Platten aktiviert. Auch solltest du von virtio auf scsi umstellen.

Ja es sind tatsächlich 10x 16TB verbaut und nicht 8x habe ich korrigiert. Sorry.

discard flag habe ich nun eingestellt und werde die VM gleich mal rebooten, eine Frage habe, warum sollte ich von virtio auf scsi umstellen?

 

[Dunuin]

Weil das die offiziellen Best Practices für Windows-Gäste sind:

• For your virtual hard disk select "SCSI" as bus with "VirtIO SCSI" as controller. Set "Write back" as cache option for best performance (the "No cache" default is safer, but slower) and tick "Discard" to optimally use disk space (TRIM).

Hast du das beste Set an Features, Performance und hoffentlich mehr Stabilität, da es mehr nutzen und es dann besser getestet ist.

 

[Neobin]

Siehe auch:

The VirtIO Block controller, often just called VirtIO or virtio-blk, is an older type of paravirtualized controller. It has been superseded by the VirtIO SCSI Controller, in terms of features.

https://pve.proxmox.com/pve-docs/chapter-qm.html#qm_hard_disk

 

[udo]

Hallo zusammen,

ich habe seit kurzem das Problem, dass meine Festplatte vollläuft, obwohl kein Datenzuwachs in der VM passiert.

Technische Daten:
2x Intel(R) Xeon(R) Silver 4309Y CPU
12x 16GB DDR4
2x SSD RAID1 500GB
10x SAS HDD RAID5 16TB

View attachment 59977

---

auf dem Server läuft eine Windows VM

Windows VM:
16 Core
128 GB Ram
100 GB SSD
55 TB HDD
55 TB HDD

View attachment 59978

Auf dem SSD Pool:
View attachment 59980

Auf dem HDD Pool:
View attachment 59979

---

Das Problem:

Effektiv müssten also rund 118.826,32 GB belegt sein, das also rund 20 TB müssten noch auf dem HDD Pool leer sein. Nun ist das aber so das laut Proxmox der Pool voll ist und ich verstehe nicht, warum bzw. warum 20 TB mehr belegt sind? Kann mir hier jemand vielleicht Helfen wie ich vorgehen kann bzw. was vielleicht die Ursache ist.

Wichtig noch der HDD Pool ist ein LVM-Thin Volumen.

View attachment 59981

Würde mich sehr über Meinungen und Lösungsansätze freuen.

Vielen Dank im Voraus.

sind wahrscheinlich die snapshots?!

Am besten die Ausgabe von folgenden Befehlen posten

pvs
vgs
lvs

Übrigens halte ich Raid-5 mit 10 16TB-Disk für äußerst gefährlich. Die Chance das bei einem Rebuild die nächste Disk ausfällt ist nicht so gering…

Udo

 

[SpeckiTime]

Ja, ohne das Discard wird kein TRIM/Discard klappen und LVM-Thin kann nichts Gelöschtes wieder freimachen. Also erstmal gucken, dass du das Discard für die virtuelle Disk aktivierst und dann auch gucken, dass da dein Windows regelmäßig die virtuelle Disk optimiert und trimmt.
Und guck mal ob du vielleicht Snapshots gemacht hast. Die verhindern ja auch ein Freimachen von Gelöschtem.

Ich habe es aktiviert, auch nochmal Snapshot gelöscht usw. wie beschreiben und nun sieht wieder alles gut aus. Vielen Dank auch an @sb-jw

sind wahrscheinlich die snapshots?!

Am besten die Ausgabe von folgenden Befehlen posten

pvs
vgs
lvs

Übrigens halte ich Raid-5 mit 10 16TB-Disk für äußerst gefährlich. Die Chance das bei einem Rebuild die nächste Disk ausfällt ist nicht so gering…

Udo

snapshots 2 war bei mir extrem groß (ca. 10TB), obwohl in Proxmox nur 256GB stand.

Das ist ein Backup vom Backup, somit wird hier nur RAID5 betreiben.

 

[Falk R.]

Snapshots sind kein Backup und RAID ist erst recht kein Backup. Ich hoffe du machst ein vernünftiges Backup z.B. mit dem PBS (Proxmox Backup Server)