Seit dem 15.03.2023 wächst die Größe meines Datastores rasant an und es nimmt kein Ende. In 11 Tagen hat ist die Größe des Datastore um 691% gewachsen (von 34GB auf 235GB):
(Das abfallen der Kurve am Ende ist weil ich ein paar Snapshots gelöscht habe)
Was ist im datastore:
Host:
Die CTs sind sehr statisch und schreiben vielleicht ein paar MB pro Tag auf die Festplatte. Auch die VM schreibt nur sehr wenig auf die Festplatte. Habe mit IO ca. 48 Stunden die Schreibvorgänge der VM aufgezeichnet und das meiste auf die Systemplatte war von
Zuerst hatte ich einen Docker Container innerhalb der VM in verdacht welcher pro Tag ca. 1,3GB geschrieben hat. Doch nachdem ich das Problem behoben habe hat sich die Größe des Datastore nicht stabilisiert und wuchs weiter.
Als nächstes habe ich den Swap der VM verdächtigt und diesen auf eine Extra Disk ausgelagert welche beim Backup ausgeschlossen wird. In den Tagen danach ist der Datastore nur um ein paar 100MB/Tag gewachsen. Aber das hätte daran liegen können, dass ich ein paar Snapshots im Datastore gelöscht habe. Ein paar Tage danach hat der Datastore nämlich wieder begonnen rasant anzuwachsen.
Nächster Verdacht war das Trim innerhalb der VM. Wenn fstrim innerhalb der VM ausgeführt wird, werden oft 24 GB (das ist ungefähr der freie Speicherplatz der Platte) auf der 32GB OS Platte getrimmt. Vor allem nach einem Neustart oder wenn fstrim schon länger nicht mehr gelaufen ist ist die Menge von fstrim immer sehr hoch, nicht nur bei der OS Platte sondern auch bei den pass-through SATA Platten. Ist das ein normales Verhalten?
Aber wenn ich die Protokolle von fstrim anschaue dann kann ich sehen, dass dieses Verhalten schon seit November 2022 der Fall war und zu diesem Zeitraum war die Größe des Datastore kein Problem.
Ich habe verschiedene Kombinationen der Optionen "discard" und "SSD emulation" ausprobiert Optionen des Datenträgers ausprobiert, aber es hat sich nichts geändert und der Datastore hat am nächsten Tag weitere 33 GB hinzugewonnen.
In den Logs kann ich sehen, dass der wiederverwendete Speicher des VM Backups im Datastore sehr stark schwankt:
Das erste Backup von oben (mit 31% reused) hat den Datastore um 23GB vergrößert. Ich habe die Dateien im VM Backup zwischen diesem einen Backup und dem Backup davor verglichen. Es haben sich 155 Dateien mit einer Gesamtgröße von weniger als 200MB geändert.
Für mich schaut es verdächtig aus, dass ich am 15.03.2023 (der Tag nach welchem die Größe so rasant angestiegen ist) folgende Updates installiert habe:
Was läuft hier schief? Oder mache ich hier etwas falsch? Oder kann es sein, dass die Updates vom 15.03.2023 einen Bug haben?
(Das abfallen der Kurve am Ende ist weil ich ein paar Snapshots gelöscht habe)
Was ist im datastore:
- 6 CTs
- Adguard Home (8GB disk)
- Smokeping (8GB disk)
- Die anderen 4 sind seit 2023-03-21 nicht gelaufen (je 8GB disk)
- 1 VM
- Debian (bullseye 5.10.162-1)
- 1x32GB disk
- 3x passed through SATA SSDs
- SCSI Controller VirtUI SCSI single
- QEMU guest agent ist aktiviert und läuft
- Debian (bullseye 5.10.162-1)
Host:
- proxmox-ve: 7.4-1 (kernel: 5.15.104-1-pve)
- Non-Subscription repository
- PBS 2.4-1 direkt am PVE host installiert
- 1x1TB NVME SSD mit ZFS
- 1 pool mit:
- Dem Standard rpool/data welcher mit der PVE installation gekommen ist. Dieser wird für die CTs verwendet
- Ein zusätzliches verschlüsseltes Dateisystem unter rpool/encrypted_data welches ich selbst hinzugefügt habe. Dieses wird für die eine VM und dem PBS Datastore verwendet.
- 1 pool mit:
- Intel Celeron G6900
- 1x WD SN570 1TB
- 16GB RAM
Die CTs sind sehr statisch und schreiben vielleicht ein paar MB pro Tag auf die Festplatte. Auch die VM schreibt nur sehr wenig auf die Festplatte. Habe mit IO ca. 48 Stunden die Schreibvorgänge der VM aufgezeichnet und das meiste auf die Systemplatte war von
systemd-journald mit weniger als 100MB pro Tag.Zuerst hatte ich einen Docker Container innerhalb der VM in verdacht welcher pro Tag ca. 1,3GB geschrieben hat. Doch nachdem ich das Problem behoben habe hat sich die Größe des Datastore nicht stabilisiert und wuchs weiter.
Als nächstes habe ich den Swap der VM verdächtigt und diesen auf eine Extra Disk ausgelagert welche beim Backup ausgeschlossen wird. In den Tagen danach ist der Datastore nur um ein paar 100MB/Tag gewachsen. Aber das hätte daran liegen können, dass ich ein paar Snapshots im Datastore gelöscht habe. Ein paar Tage danach hat der Datastore nämlich wieder begonnen rasant anzuwachsen.
Nächster Verdacht war das Trim innerhalb der VM. Wenn fstrim innerhalb der VM ausgeführt wird, werden oft 24 GB (das ist ungefähr der freie Speicherplatz der Platte) auf der 32GB OS Platte getrimmt. Vor allem nach einem Neustart oder wenn fstrim schon länger nicht mehr gelaufen ist ist die Menge von fstrim immer sehr hoch, nicht nur bei der OS Platte sondern auch bei den pass-through SATA Platten. Ist das ein normales Verhalten?
Aber wenn ich die Protokolle von fstrim anschaue dann kann ich sehen, dass dieses Verhalten schon seit November 2022 der Fall war und zu diesem Zeitraum war die Größe des Datastore kein Problem.
Ich habe verschiedene Kombinationen der Optionen "discard" und "SSD emulation" ausprobiert Optionen des Datenträgers ausprobiert, aber es hat sich nichts geändert und der Datastore hat am nächsten Tag weitere 33 GB hinzugewonnen.
In den Logs kann ich sehen, dass der wiederverwendete Speicher des VM Backups im Datastore sehr stark schwankt:
Code:
INFO: backup is sparse: 12.00 MiB (0%) total zero data
INFO: backup was done incrementally, reused 10.05 GiB (31%)
INFO: backup is sparse: 13.65 GiB (42%) total zero data
INFO: backup was done incrementally, reused 13.71 GiB (42%)
INFO: backup is sparse: 11.03 GiB (34%) total zero data
INFO: backup was done incrementally, reused 21.38 GiB (66%)
INFO: backup is sparse: 11.02 GiB (34%) total zero data
INFO: backup was done incrementally, reused 31.16 GiB (97%)
INFO: backup is sparse: 11.02 GiB (34%) total zero data
INFO: backup was done incrementally, reused 25.01 GiB (78%)
INFO: backup was done incrementally, reused 26.59 GiB (83%)
INFO: backup was done incrementally, reused 31.65 GiB (98%)Das erste Backup von oben (mit 31% reused) hat den Datastore um 23GB vergrößert. Ich habe die Dateien im VM Backup zwischen diesem einen Backup und dem Backup davor verglichen. Es haben sich 155 Dateien mit einer Gesamtgröße von weniger als 200MB geändert.
Für mich schaut es verdächtig aus, dass ich am 15.03.2023 (der Tag nach welchem die Größe so rasant angestiegen ist) folgende Updates installiert habe:
- pve-firmware: 3.6-3 ==> 3.6-4
- pve-kernel-helper: 7.3-6 ==> 7.3-7
- pve-qemu-kvm: 7.2.0-5 ==> 7.2.0-7
Was läuft hier schief? Oder mache ich hier etwas falsch? Oder kann es sein, dass die Updates vom 15.03.2023 einen Bug haben?
