VMs benutzen Speicher auf local

[bastianf]

Hallo,

habe einen Fujitsu S920 mit 8GB MSATA und einer SSD mit 500GB.
Auf der MSATA ist Debian und dann Proxmox installiert.
Nun habe ich das Problem, dass wenn ich eine VM installiere, diese scheinbar erst einmal auf der MSATA bzw. local installiert oder puffert, keine Ahnung.
Jedenfalls ist es so, dass egal, ob ich bei der Konfiguration der jeweiligen VM den Speicherort entsprechend anpasse, läuft meine "root" Partition voll.
Bei den CT images funktioniert alles wunderbar; diese werden auf dem entsprechend konfigurierten storage installiert.
Kann ich das irgendwie anpassen?

Danke!

 

[sb-jw]

Bitte mal die Config eines Containe pct config CTID, der neuen VM qm config VMID und die Storage Config /etc/pve/storage.cfg posten.

 

[bastianf]

pct config CTID

arch: amd64
cores: 1
features: nesting=1
hostname: pivpn
memory: 512
net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.2.1,hwaddr=BC:24:11:A4:50:CD,ip=192.168.2.29/24,type=veth
onboot: 1
ostype: debian
rootfs: vm:subvol-100-disk-0,size=2G
swap: 512
unprivileged: 1

qm config VMID

bios: ovmf
boot: order=virtio0;ide0;ide2;net0
cores: 2
cpu: x86-64-v2-AES
efidisk0: vm:vm-101-disk-0,efitype=4m,pre-enrolled-keys=1,size=1M
ide0: local:iso/virtio-win.iso,media=cdrom,size=612812K
ide2: local:iso/SW_DVD9_Win_Server_STD_CORE_2022_2108.18_64Bit_English_DC_STD_MLF_X23-37922.ISO,media=cdrom,size=5097250K
machine: pc-q35-8.1
memory: 8192
meta: creation-qemu=8.1.2,ctime=1703114677
name: windows
net0: virtio=BC:24:11:35:94:73,bridge=vmbr0,firewall=1
numa: 0
ostype: win11
scsihw: virtio-scsi-single
smbios1: uuid=8402978f-b3c0-4965-996e-f1b8622d1d0a
sockets: 1
tpmstate0: vm:vm-101-disk-1,size=4M,version=v2.0
virtio0: vm:vm-101-disk-2,iothread=1,size=32G
vmgenid: ab029567-65c1-4222-a2a2-984dbff69307

/etc/pve/storage.cfg

dir: local
        path /var/lib/vz
        content vztmpl,iso,snippets,rootdir,images,backup
        prune-backups keep-all=1

zfspool: vm
        pool vm
        content images,rootdir
        mountpoint /vm
        sparse 0

 

[Dunuin]

Deine ISOs liegen auf "local" und damit auf dem 8GB Root-Dateisystem und deine Win-Server ISO alleine ist 5GB groß...
8GB sind schon für PVE alleine grenzwärtig. Da hast du echt keinen Platz um noch Dinge wie ISOs, templates, Backups und Co drauf zu speichern.
Außerdem solltest du über Backups nachdenken, da scheinst du ja nichts zu haben...

 

[bastianf]

Die liegen nicht wirklich auf local.
Alle ISOs, templates usw. liegen auf einer anderen Platte und werden via symlink in local eingebunden.
Und das Backup geht auf das NAS.

 

[Dunuin]

Und das Backup geht auf das NAS.

Deine Backups sind ebenfalls als symlink auf ein NFS/SMB verlinkt? Dann hast du ein Problem, wenn die Netzwerkfreigabe mal hängt und die Dinge dann eben nicht auf dem NAS sodern auf dem Root-Dateisystem landen. PVE weiß ja nichts von deinen Symlinks und schreibt dann fröhlich das Root-Dateisystem voll.
Wäre besser wenn du da einen eigenen Directory Storage für deine Backups und ISOs hättest, welcher dann direkt auf den Mountpoint zeigt und du "is_mountpoint" für den Storage aktivierst, dass da PVE das Schreiben einstellt, sobald das Mounten fehlschlägt.

 

[bastianf]

Nein, sind sie nicht.

Und es geht hier auch gerade nicht um meine Backups, sondern um das installieren einer VM, die, obwohl anders konfiguriert, auf local schreibt,

 

[Dunuin]

sondern um das installieren einer VM, die, obwohl anders konfiguriert, auf local schreibt,

Z.B. das hochladen der ISOs? Die landen erst auf deinem Root-Dateisystem und werden später auf deinen "local" Storage verschoben. Oder hast du auch /var/tmp auf eine andere Platte gesymlinkt?

 

[bastianf]

root@pve:/var/lib/vz/template# ls -la
insgesamt 8
drwxr-xr-x 2 root root 4096 19. Dez 20:52 .
drwxr-xr-x 7 root root 4096 18. Dez 20:53 ..
lrwxrwxrwx 1 root root   10 19. Dez 20:52 cache -> /vm/cache/
lrwxrwxrwx 1 root root    8 19. Dez 00:30 iso -> /vm/iso/

 

[Dunuin]

Ja, aber die werden halt nicht direkt nach "/var/lib/vz/template/iso" geschrieben sondern erst nach "/var/tmp/pveupload-..." und von da wandern die dann nach "/var/lib/vz/template/iso" wenn die Übertragung und das hashing erfolgreich war. Beim Fehler bleiben die einfach in "/var/tmp" liegen. Trotz deinem symlink von nach "/VM/iso" braucht dein Root-Dateisystem dann 5GB freien Platz wenn du eine 5GB ISO hochlädst.

 

[bastianf]

Ich weiß nicht genau, was du von mir willst.
Das mag ja alles so sein wie du es schreibst, aber hat mit meinem System im jetzigen Zustand nichts zu tun.
Die isos liegen da wo sie sollen und fressen keinen Speicher auf local.
Nochmal: Es geht um die Installation einer VM und NICHT um mein Speichermanagement.

Und abgesehen davon stimmt deine Aussage nicht:

downloading http://download.proxmox.com/images/system/ubuntu-23.10-standard_23.10-1_amd64.tar.zst to /var/lib/vz/template/cache/ubuntu-23.10-standard_23.10-1_amd64.tar.zst
--2023-12-21 20:00:21--  http://download.proxmox.com/images/system/ubuntu-23.10-standard_23.10-1_amd64.tar.zst
Resolving download.proxmox.com (download.proxmox.com)... 212.224.123.70, 2001:41d0:203:7470::34
Connecting to download.proxmox.com (download.proxmox.com)|212.224.123.70|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 137846089 (131M) [application/octet-stream]
Saving to: '/var/lib/vz/template/cache/ubuntu-23.10-standard_23.10-1_amd64.tar.zst.tmp_dwnl.392577'

Saving to: '/var/lib/vz/template/cache/

Und das ist tmp während des downloads:

root@pve:/var/tmp# ls -la
insgesamt 20
drwxrwxrwt  4 root root 4096 21. Dez 19:51 .
drwxr-xr-x 11 root root 4096 18. Dez 20:04 ..
-rw-r--r--  1 root root   16 21. Dez 19:51 pve-reserved-ports
drwx------  3 root root 4096 21. Dez 02:45 systemd-private-a9dd95c3b2cd474ebe3883b32ef320aa-chrony.service-6IaRBM
drwx------  3 root root 4096 21. Dez 02:45 systemd-private-a9dd95c3b2cd474ebe3883b32ef320aa-systemd-logind.service-53vNfJ

 

[Dunuin]

Und abgesehen davon stimmt deine Aussage nicht:

Das ist auch kein ISO Upload sondern ein LXC template download. Lädst du eine ISO über das webUI hoch dann landet die erst in /var/tmp. Irgendwie wird die ISO ja auf deinen Server gekommen sein, damit du die VM damit erstellen konntest. Und wenn du mal guckst wieviele Leute hier Probleme mit fehlgeschlagenen ISO Uploads haben und die sich dann wundern, warum ihr Root-Dateisystem plötzlich voll wird, weil die temporären ISO-Uploads das Root-Dateisystem zumüllen, dann ist das ein durchaus valider Punkt das abzuklären, ob es nicht auch in diesem Fall daran liegt.

Nochmal: Es geht um die Installation einer VM und NICHT um mein Speichermanagement.

Ja und PVE erstellt dir normal keine virtuellen Disks oder ähnliches auf Storages die du nicht als VM Storage angibst. Das einzige was da standardmäßig dauerhaft vom Root-Dateisystem bei der VM-Erstellung Platz wegnehmen sollte ist die Konfig-Datei und das sind Kilobytes. Also versuche ich da zu gucken was da schief laufen könnte wenn du eine VM erstellst und da sind Dinge wie temporäre Daten vom ISO Upload, Dinge die wegen fehlgeschlagenen Mount auf dem Root-Dateisystem landen anstatt auf einem Netzwerk-Share/andere Disk halt das Naheliegendste.

 

[bastianf]

downloading https://deb.parrot.sh/parrot/iso/5.3/Parrot-security-5.3_amd64.iso to /var/lib/vz/template/iso/Parrot-security-5.3_amd64.iso
--2023-12-21 20:14:43--  https://deb.parrot.sh/parrot/iso/5.3/Parrot-security-5.3_amd64.iso
Resolving deb.parrot.sh (deb.parrot.sh)... 143.42.26.86, 170.187.185.131, 172.104.249.136, ...
Connecting to deb.parrot.sh (deb.parrot.sh)|143.42.26.86|:443... connected.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: https://bunny.deb.parrot.sh//parrot/iso/5.3/Parrot-security-5.3_amd64.iso [following]
--2023-12-21 20:14:44--  https://bunny.deb.parrot.sh//parrot/iso/5.3/Parrot-security-5.3_amd64.iso
Resolving bunny.deb.parrot.sh (bunny.deb.parrot.sh)... 169.150.247.37, 2400:52e0:1e00::1080:1
Connecting to bunny.deb.parrot.sh (bunny.deb.parrot.sh)|169.150.247.37|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5260242944 (4.9G) [application/octet-stream]
Saving to: '/var/lib/vz/template/iso/Parrot-security-5.3_amd64.iso.tmp_dwnl.397466'

root@pve:/var/tmp# ls -la
insgesamt 20
drwxrwxrwt  4 root root 4096 21. Dez 19:51 .
drwxr-xr-x 11 root root 4096 18. Dez 20:04 ..
-rw-r--r--  1 root root   16 21. Dez 19:51 pve-reserved-ports
drwx------  3 root root 4096 21. Dez 02:45 systemd-private-a9dd95c3b2cd474ebe3883b32ef320aa-chrony.service-6IaRBM
drwx------  3 root root 4096 21. Dez 02:45 systemd-private-a9dd95c3b2cd474ebe3883b32ef320aa-systemd-logind.service-53vNfJ

 

[Dunuin]

Auch das ist kein ISO Upload sondern ein ISO Download.

ISO Upload:

starting file import from: /var/tmp/pveupload-58b255f1edd3b03895a09393e61bc1c9
target node: Voyager
target file: /dpool/vlt/data/template/iso/proxmox-ve_8.1-1.iso
file size is: 1292605440
command: cp -- /var/tmp/pveupload-58b255f1edd3b03895a09393e61bc1c9 /dpool/vlt/data/template/iso/proxmox-ve_8.1-1.iso
finished file import successfully
TASK OK

 

[bastianf]

Dann reden wir scheinbar aneinander vorbei...

Wie auch immer, mit der oben geposteten config geht es. Hatte scheinbar vorher was falsch gemacht, dann nochmal neu konfiguriert, im Glauben genau das gleiche gemacht zu haben, dann aber diese config bzw die vm nicht gestartet.

 

[Falk R.]

Ich werde nicht ganz schlau aus deinen Posts.
Wenn deine VMs Platz auf / verbrauchen solltest du mal gucken welcher Ordner wächst.
Guck doch mal mit du -d 1 auf /

 

[bastianf]

Es hat sich wie gesagt erledigt. Die oben gepostete Konfiguration funktioniert.
Scheinbar vorher irgendwas auf local aktiviert gehabt und war nur zu blind.