[SOLVED] Verschieben/Wiederherstellen eines Containers nach Ceph

[pr0j3ctx]

Guten Morgen,

ich habe hier einen LXC Container, den ich gerne von meinem ZFS Storage in den Ceph Storage verschieben würde. Das Ceph Storage ist frisch eingerichtet und alle anderen Container und VM Volumes konnte ich ohne Probleme verschieben.
Ich erhalte die Meldung "No space left on device (28)" obwohl noch ausreichend Platz vorhanden ist.

root@kvm11:~# ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
ssd 11 TiB 10 TiB 962 GiB 962 GiB 8.61
TOTAL 11 TiB 10 TiB 962 GiB 962 GiB 8.61

--- POOLS ---
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
.mgr 1 1 897 KiB 2 2.6 MiB 0 3.0 TiB
cephstor 2 32 319 GiB 84.64k 956 GiB 9.28 3.0 TiB

:~# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
0 ssd 1.81940 1.00000 1.8 TiB 119 GiB 119 GiB 21 KiB 506 MiB 1.7 TiB 6.41 0.74 13 up
1 ssd 1.81940 1.00000 1.8 TiB 201 GiB 200 GiB 16 KiB 1.3 GiB 1.6 TiB 10.79 1.25 20 up
2 ssd 1.81940 1.00000 1.8 TiB 109 GiB 109 GiB 26 KiB 710 MiB 1.7 TiB 5.87 0.68 11 up
3 ssd 1.81940 1.00000 1.8 TiB 211 GiB 210 GiB 24 KiB 962 MiB 1.6 TiB 11.33 1.32 22 up
4 ssd 1.81940 1.00000 1.8 TiB 150 GiB 149 GiB 14 KiB 1.2 GiB 1.7 TiB 8.06 0.94 15 up
5 ssd 1.81940 1.00000 1.8 TiB 171 GiB 170 GiB 33 KiB 1.2 GiB 1.7 TiB 9.18 1.07 18 up
TOTAL 11 TiB 962 GiB 956 GiB 136 KiB 5.8 GiB 10 TiB 8.61
MIN/MAX VAR: 0.68/1.32 STDDEV: 2.05

Die genaue Meldung sieht wie folgt aus:

/dev/rbd7
Creating filesystem with 4194304 4k blocks and 1048576 inodes
Filesystem UUID: ab9623b2-8c93-4d2e-a9e0-e17586c80460
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
rsync: [receiver] write failed on "/var/lib/lxc/5132/.copy-volume-1/var/log/journal/b354c482f7cc342776f020ee5ea440c3/user-2100@b0f9333dee7c42669c294f00d5da2d65-00000000006d069b-00063fbb6cff9fbc.journal": No space left on device (28)
rsync error: error in file IO (code 11) at receiver.c(381) [receiver=3.4.1]
rsync: [sender] write error: Broken pipe (32)
Removing image: 1% complete...
......
Removing image: 100% complete...done.
TASK ERROR: command 'rsync --stats -X -A --numeric-ids -aH --whole-file --sparse --one-file-system '--bwlimit=0' /var/lib/lxc/5132/.copy-volume-2/ /var/lib/lxc/5132/.copy-volume-1' failed: exit code 11

Kurz ein paar Fakten zum Container. Die Inodes die beim Ceph Storage angelegt werden sollten auch ausreichen:

:~# df -hi /
Filesystem Inodes IUsed IFree IUse% Mounted on
prxpool/subvol-5132-disk-1 12M 211K 12M 2% /
:~# df -h /
Filesystem Size Used Avail Use% Mounted on
prxpool/subvol-5132-disk-1 16G 11G 5,9G 64% /

Das gleiche Verhalten habe ich auch, wenn ich den Container aus einem Backup zum Ceph Storage wiederherstellen möchte. Ich stehe gerade auf dem Schlauch.
Habt ihr noch Tipps für mich?

kvm11:~$ pveversion --verbose
proxmox-ve: 9.0.0 (running kernel: 6.14.11-1-pve)
pve-manager: 9.0.9 (running version: 9.0.9/117b893e0e6a4fee)
proxmox-kernel-helper: 9.0.4
proxmox-kernel-6.14.11-1-pve-signed: 6.14.11-1
proxmox-kernel-6.14: 6.14.11-1
proxmox-kernel-6.14.8-2-pve-signed: 6.14.8-2
proxmox-kernel-6.8.12-13-pve-signed: 6.8.12-13
proxmox-kernel-6.8: 6.8.12-13
ceph: 19.2.3-pve2
ceph-fuse: 19.2.3-pve2
corosync: 3.1.9-pve2
criu: 4.1.1-1
frr-pythontools: 10.3.1-1+pve4
ifupdown: residual config
ifupdown2: 3.3.0-1+pmx10
intel-microcode: 3.20250512.1
libjs-extjs: 7.0.0-5
libproxmox-acme-perl: 1.7.0
libproxmox-backup-qemu0: 2.0.1
libproxmox-rs-perl: 0.4.1
libpve-access-control: 9.0.3
libpve-apiclient-perl: 3.4.0
libpve-cluster-api-perl: 9.0.6
libpve-cluster-perl: 9.0.6
libpve-common-perl: 9.0.10
libpve-guest-common-perl: 6.0.2
libpve-http-server-perl: 6.0.4
libpve-network-perl: 1.1.7
libpve-rs-perl: 0.10.10
libpve-storage-perl: 9.0.13
libspice-server1: 0.15.2-1+b1
lvm2: 2.03.31-2+pmx1
lxc-pve: 6.0.5-1
lxcfs: 6.0.4-pve1
novnc-pve: 1.6.0-3
proxmox-backup-client: 4.0.14-1
proxmox-backup-file-restore: 4.0.14-1
proxmox-backup-restore-image: 1.0.0
proxmox-firewall: 1.1.2
proxmox-kernel-helper: 9.0.4
proxmox-mail-forward: 1.0.2
proxmox-mini-journalreader: 1.6
proxmox-offline-mirror-helper: 0.7.1
proxmox-widget-toolkit: 5.0.5
pve-cluster: 9.0.6
pve-container: 6.0.11
pve-docs: 9.0.8
pve-edk2-firmware: not correctly installed
pve-esxi-import-tools: 1.0.1
pve-firewall: 6.0.3
pve-firmware: 3.16-4
pve-ha-manager: 5.0.4
pve-i18n: 3.6.0
pve-qemu-kvm: 10.0.2-4
pve-xtermjs: 5.5.0-2
qemu-server: 9.0.21
smartmontools: 7.4-pve1
spiceterm: 3.4.0
swtpm: 0.8.0+pve2
vncterm: 1.9.0
zfsutils-linux: 2.3.4-pve1

Das Verschieben auf local Storage (ext4) sowie NFS Storage verhält sich übrigens genau so.

Vorab schonmal vielen Dank und viele Grüße
pr0

 

[Falk R.]

Dein CT nutzt natürlich die Komprimierung von ZFS. Wenn die Datenmenge ohne Komprimierung, die angegebene virtual Disk Größe überschreitet, kannst du auf kein anderes Speichersystem migrieren. Da musst du erst die Größe erweitern.

 

[pr0j3ctx]

Oh wie dumm von mir. Klar.
Die Komprimierungsrate lag bei 1,7. Ich habe von 16GB auf 20GB erweitert und schon gings.

Vielen Dank für den Schubs in die richtige Richtung.