Zfs Speicherplatz?

I

illumina7

New Member
Jan 22, 2023
29
2
3
Bayern
Hi zusammen,

bin recht frisch bei proxmox dabei und mir ist etwas seltsames aufgefallen.

Code: 
root@pve00:~# zpool get all raid-z2
NAME     PROPERTY                       VALUE                          SOURCE
raid-z2  size                           8.72T                          -
raid-z2  capacity                       51%                            -
raid-z2  altroot                        -                              default
raid-z2  health                         ONLINE                         -
raid-z2  guid                           3404132697024688447            -
raid-z2  version                        -                              default
raid-z2  bootfs                         -                              default
raid-z2  delegation                     on                             default
raid-z2  autoreplace                    off                            default
raid-z2  cachefile                      -                              default
raid-z2  failmode                       wait                           default
raid-z2  listsnapshots                  off                            default
raid-z2  autoexpand                     off                            default
raid-z2  dedupratio                     1.00x                          -
raid-z2  free                           4.26T                          -
raid-z2  allocated                      4.46T                          -
raid-z2  readonly                       off                            -
raid-z2  ashift                         12                             local
raid-z2  comment                        -                              default
raid-z2  expandsize                     -                              -
raid-z2  freeing                        0                              -
raid-z2  fragmentation                  9%                             -
raid-z2  leaked                         0                              -
raid-z2  multihost                      off                            default
raid-z2  checkpoint                     -                              -
raid-z2  load_guid                      6388775949491003684            -
raid-z2  autotrim                       off                            default
raid-z2  compatibility                  off                            default
raid-z2  feature@async_destroy          enabled                        local
raid-z2  feature@empty_bpobj            active                         local
raid-z2  feature@lz4_compress           active                         local
raid-z2  feature@multi_vdev_crash_dump  enabled                        local
raid-z2  feature@spacemap_histogram     active                         local
raid-z2  feature@enabled_txg            active                         local
raid-z2  feature@hole_birth             active                         local
raid-z2  feature@extensible_dataset     active                         local
raid-z2  feature@embedded_data          active                         local
raid-z2  feature@bookmarks              enabled                        local
raid-z2  feature@filesystem_limits      enabled                        local
raid-z2  feature@large_blocks           enabled                        local
raid-z2  feature@large_dnode            enabled                        local
raid-z2  feature@sha512                 enabled                        local
raid-z2  feature@skein                  enabled                        local
raid-z2  feature@edonr                  enabled                        local
raid-z2  feature@userobj_accounting     active                         local
raid-z2  feature@encryption             enabled                        local
raid-z2  feature@project_quota          active                         local
raid-z2  feature@device_removal         enabled                        local
raid-z2  feature@obsolete_counts        enabled                        local
raid-z2  feature@zpool_checkpoint       enabled                        local
raid-z2  feature@spacemap_v2            active                         local
raid-z2  feature@allocation_classes     enabled                        local
raid-z2  feature@resilver_defer         enabled                        local
raid-z2  feature@bookmark_v2            enabled                        local
raid-z2  feature@redaction_bookmarks    enabled                        local
raid-z2  feature@redacted_datasets      enabled                        local
raid-z2  feature@bookmark_written       enabled                        local
raid-z2  feature@log_spacemap           active                         local
raid-z2  feature@livelist               enabled                        local
raid-z2  feature@device_rebuild         enabled                        local
raid-z2  feature@zstd_compress          enabled                        local
raid-z2  feature@draid                  enabled                        local

Eigentlich sollte ich doch noch knapp die Hälfte an Speicherplatz frei verfügbar haben (free/allocated)?
Warum zeigt mir das die UI dann so an? Ist da nur irgendetwas nicht richtig aktualisiert oder habe ich einen Denk-/Verständnisfehler?

1674915750726.png

Sry wenn es hierzu vermutlich schon beantwortete Fragen gab, aber ich habe nicht wirklich gewusst, nach was ich denn hier Suchen sollte.

Danke und Gruß
illumina7
 
Was sagen denn zfs list -o space, zpool list -v und cat /etc/pve/storage.cfg?

Vermutlich schlechtes discard oder ähnliches.
 
Last edited:
Hi, ich hau das einfach erstmal unkommentiert hier rein.
Trim habe ich letzte Nacht mal manuell laufen lassen, ohne erkennbaren Unterschied.

Code: 
root@pve00:~# zfs list -o space
NAME                     AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
raid-z2                   821G  5.71T        0B    219K             0B      5.71T
raid-z2/base-100-disk-2   821G  3.32M        0B    183K          3.14M         0B
raid-z2/base-103-disk-0   821G  3.32M     18.3K    183K          3.13M         0B
raid-z2/vm-100-disk-0     821G  3.35M        0B    210K          3.14M         0B
raid-z2/vm-100-disk-1     937G   131G        0B   15.3G           116G         0B
raid-z2/vm-101-disk-1     874G   116G        0B   62.9G          52.9G         0B
raid-z2/vm-101-disk-4     821G  3.14M        0B    219K          2.93M         0B
raid-z2/vm-102-disk-0     821G  3.14M        0B    183K          2.96M         0B
raid-z2/vm-103-disk-1     821G  3.14M        0B    183K          2.96M         0B
raid-z2/vm-104-disk-0     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-104-disk-1     857G  69.5G        0B   33.6G          36.0G         0B
raid-z2/vm-104-disk-2     821G  3.14M        0B    219K          2.93M         0B
raid-z2/vm-105-disk-0     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-105-disk-1    1017G   232G        0B   35.6G           196G         0B
raid-z2/vm-105-disk-2    1.11T  1.36T        0B   1.05T           316G         0B
raid-z2/vm-105-disk-3     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-107-disk-1     891G   116G        0B   45.7G          70.2G         0B
raid-z2/vm-107-disk-3     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-108-disk-1    1.00T   232G        0B   25.7G           206G         0B
raid-z2/vm-108-disk-2    1.18T  1.81T        0B   1.43T           390G         0B
raid-z2/vm-108-disk-3     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-109-disk-1     937G   191G     17.4M   74.7G           116G         0B
raid-z2/vm-109-disk-2     821G  3.33M        0B    192K          3.14M         0B
raid-z2/vm-111-disk-1     866G  69.5G        0B   24.1G          45.4G         0B
raid-z2/vm-111-disk-2     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-112-disk-1     994G   237G     11.3M   63.0G           174G         0B
raid-z2/vm-112-disk-2     821G  3.33M        0B    192K          3.14M         0B
raid-z2/vm-113-disk-1     913G   162G     7.82M   69.8G          92.7G         0B
raid-z2/vm-113-disk-2    1.03T   407G      484K    176G           232G         0B
raid-z2/vm-113-disk-3     821G  3.33M        0B    192K          3.14M         0B
raid-z2/vm-114-disk-1     861G   116G        0B   75.7G          40.1G         0B
raid-z2/vm-114-disk-2     821G  3.14M        0B    201K          2.95M         0B
raid-z2/vm-115-disk-1     871G   116G        0B   65.5G          50.3G         0B
raid-z2/vm-115-disk-2     821G  3.14M        0B    219K          2.93M         0B
raid-z2/vm-117-disk-1     937G   159G     39.0M   42.7G           116G         0B
raid-z2/vm-117-disk-2     821G  3.34M        0B    201K          3.14M         0B
raid-z2/vm-120-disk-1     868G   116G        0B   68.5G          47.4G         0B
raid-z2/vm-120-disk-2     821G  3.14M        0B    219K          2.93M         0B
raid-z2/vm-123-disk-1     864G  69.5G        0B   26.6G          42.9G         0B
raid-z2/vm-123-disk-2     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-124-disk-0     821G  3.14M        0B    192K          2.96M         0B
raid-z2/vm-124-disk-1     853G  69.5G        0B   37.5G          32.0G         0B
raid-z2/vm-124-disk-2     821G  3.14M        0B    201K          2.95M         0B
rpool                     859G  1.27G        0B    104K             0B      1.27G
rpool/ROOT                859G  1.26G        0B     96K             0B      1.26G
rpool/ROOT/pve-1          859G  1.26G        0B   1.26G             0B         0B
rpool/data                859G    96K        0B     96K             0B         0B

Code: 
zpool list -v
NAME                                                   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
raid-z2                                               8.72T  4.46T  4.26T        -         -     9%    51%  1.00x    ONLINE  -
  raidz2-0                                            8.72T  4.46T  4.26T        -         -     9%  51.2%      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG1085059G960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG108505JA960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG10850587960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG103103Y0960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG103104MX960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_BTYG12710CQZ960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_BTYG12710B5W960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_BTYG12710B4H960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_BTYG12710C2C960CGN         894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_BTYG12710BKR960CGN         894G      -      -        -         -      -      -      -    ONLINE
rpool                                                  888G  1.27G   887G        -         -     0%     0%  1.00x    ONLINE  -
  mirror-0                                             888G  1.27G   887G        -         -     0%  0.14%      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG1085058W960CGN-part3   894G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2KG960G8_PHYG103101KM960CGN-part3   894G      -      -        -         -      -      -      -    ONLINE

Code: 
root@pve00:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content backup,vztmpl,iso

zfspool: local-zfs
        pool rpool/data
        content images,rootdir
        sparse 1

zfspool: raid-z2
        pool raid-z2
        content rootdir,images
        mountpoint /raid-z2
        sparse 0
 
Dein "raid-z2" Storage hat auch kein Thin Provisioning aktiviert. ZFS reserviert also den Platz, auch wenn es den für die Daten noch nicht braucht. Daher die Refreservation bei den zvols.

Und ich hoffe du hast für den "raid-z2" Storage die Block Größe von 8K auf mindestens 64K erhöht? Ansonsten verschwenden deine ganzen Zvols massig Platz, da alle Zvols doppelt so viel Platz wegnehmen wie nötig wäre. Musst du mal das Forum nach "Padding Overhead" durchsuchen.
Weil mit einer Blockgröße von 8K würden weniger Zvols auf den Pool passen als wenn du einfach nur ein deutlich schnelleres Raid10 erstellt hättest.
 
Last edited:
Oh Mist, lässt sich das nachträglich ändern? Block Größe steht auf 8K, da schau ich mal nach dem Schlagwort, danke für deine Hilfe.
 
illumina7 said:
Oh Mist, lässt sich das nachträglich ändern? Block Größe steht auf 8K, da schau ich mal nach dem Schlagwort, danke für deine Hilfe.
Click to expand...
Jain. Die dort eingetragene Blockgröße wird nur für neu erstellte Zvols verwendet. Du musst also alle Zvols zerstören und neu erstellen, nachdem du den Wert angepasst hast. Zerstören und neu erstellen würde z.B. komfortabel gehen, indem man ein Backup anlegt und dieses wiederherstellt und die alte VM überschreiben lässt. Oder VMs auf einen anderen Node migieren und wieder zurück migrieren, falls du einen Cluster hast.
 
Das hört sich gut, hab sowohl einen Cluster als auch einen pbs laufen. D.h. ich stelle die Blocksize auf 64K und schalte Thin Provisioning ein, migriere die VMs auf den zweiten Node und wieder zurück und fertig?
 
Aber nicht vergessen, dass da eine 64K Blockgröße auch bedeutet, dass alles was IO kleiner als 64K nutzt massig Overhead beim Lesen und Schreiben hat. Postgresql und MySQL DBs sollten z.B. massiv mehr die SSDs abnutzen mit deutlich weniger Leistung.
Im Idealfall legt man sich mehrere Storages vom Typ "zfspool" auf dem selben ZFS Pool an und gibt den Storages dann verschiedene Blockgrößen.
Dann kann man für jede virtuelle Disk selbst entscheiden, welche Blockgröße sie nutzen soll. Also z.B. 64K für alle Standard vDisks, dann 8K für Postgresql VMs und 16K für MySQL VMs. Dann verschwenden die DB VMs zwar mehr Platz, schont aber die SSDs und gibt mehr Performance.

So würde ich das hier z.B. machen:
Code: 
zfs create raid-z2/vm64k
zfs create raid-z2/vm16k
zfs create raid-z2/vm8k
pvesm add zfspool VM64K --blocksize 64K --content rootdir,images --pool raid-z2/vm64k --sparse 1 --mountpoint /raid-z2/vm64k
pvesm add zfspool VM16K --blocksize 16K --content rootdir,images --pool raid-z2/vm16k --sparse 1 --mountpoint /raid-z2/vm16k
pvesm add zfspool VM8K --blocksize 8K --content rootdir,images --pool raid-z2/vm8k --sparse 1 --mountpoint /raid-z2/vm8k
Das würde dann drei entsprechende Datasets und Storages erstellen mit 8/16/64K. Danach könnte man über das webUI die virtuellen Disks in den jeweils am besten passenden Storage verschieben.
 
  • Like
Reactions: illumina7
Das klingt interessant, das werde ich gleich versuchen, hab schon fast alles verschoben.
Postgresql und MySQL DBs haben wir nicht im einsatz, aber halt MS SQL Server, wären für diese dann auch 16k die korrekte Blocksize?
 
MSSQL nutzt glaube ich 64K. Bei denen wäre es dann mit 64K Blockgröße nicht problematisch.
 
Okay das recherchiere ich nochmal, aber trotzdem interessant die Möglichkeit verschieden pools mit verschiedenen Blocksizes anzulegen, danke für den Tipp!
 
Moin, eine Frage habe ich noch, vermutlich kann ich mit zfs list -o space feststellen, welche disks noch nicht in 64k erstellt worden sind, da die dann ja mehr Speicherplatz brauchen.

Code: 
root@pve01:~# zfs list -o space
NAME                     AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
raid-z2                  4.60T  3.03T        0B    171K             0B      3.03T
raid-z2/base-100-disk-2  4.60T  3.28M        0B    142K          3.14M         0B
raid-z2/vm-100-disk-0    4.60T  3.30M        0B    164K          3.14M         0B
raid-z2/vm-100-disk-1    4.71T   130G        0B   14.6G           116G         0B
raid-z2/vm-104-disk-0    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-104-disk-1    4.60T  20.8G        0B   20.8G             0B         0B
raid-z2/vm-104-disk-2    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-106-disk-0    4.60T  3.78M        0B    178K          3.60M         0B
raid-z2/vm-106-disk-1    4.67T   109G        0B   31.3G          77.3G         0B
raid-z2/vm-107-disk-0    4.60T  3.78M        0B   99.5K          3.68M         0B
raid-z2/vm-107-disk-1    4.77T   181G        0B   99.5K           181G         0B
raid-z2/vm-107-disk-2    4.60T  3.78M        0B   99.5K          3.68M         0B
raid-z2/vm-107-disk-3    4.77T   181G        0B   99.5K           181G         0B
raid-z2/vm-107-disk-4    4.60T  3.78M        0B   99.5K          3.68M         0B
raid-z2/vm-107-disk-5    4.77T   181G        0B   99.5K           181G         0B
raid-z2/vm-107-disk-6    4.60T  99.5K        0B   99.5K             0B         0B
raid-z2/vm-107-disk-7    4.60T  99.5K        0B   99.5K             0B         0B
raid-z2/vm-107-disk-8    4.66T   116G        0B   45.5G          70.4G         0B
raid-z2/vm-107-disk-9    4.60T  3.14M        0B    149K          3.00M         0B
raid-z2/vm-109-disk-1    4.71T   193G     21.1M   77.4G           116G         0B
raid-z2/vm-109-disk-2    4.60T  3.29M        0B    149K          3.14M         0B
raid-z2/vm-110-disk-0    4.60T  3.14M        0B    149K          3.00M         0B
raid-z2/vm-110-disk-1    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-110-disk-2    4.60T  13.4G        0B   13.4G             0B         0B
raid-z2/vm-111-disk-0    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-111-disk-1    4.60T  15.4G        0B   15.4G             0B         0B
raid-z2/vm-112-disk-1    4.77T   229G        0B   55.7G           174G         0B
raid-z2/vm-112-disk-2    4.60T  3.29M        0B    149K          3.14M         0B
raid-z2/vm-113-disk-1    4.69T   154G        0B   61.7G          92.7G         0B
raid-z2/vm-113-disk-2    4.82T   436G        0B    204G           232G         0B
raid-z2/vm-113-disk-3    4.60T  3.29M        0B    149K          3.14M         0B
raid-z2/vm-114-disk-0    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-114-disk-1    4.60T  50.3G        0B   50.3G             0B         0B
raid-z2/vm-117-disk-1    4.71T   155G      125M   39.5G           116G         0B
raid-z2/vm-117-disk-2    4.60T  3.30M      156K    156K          2.99M         0B
raid-z2/vm-118-disk-0    4.60T  3.14M        0B    149K          3.00M         0B
raid-z2/vm-118-disk-1    4.60T  3.78M        0B    171K          3.61M         0B
raid-z2/vm-118-disk-2    4.71T   230G        0B    117G           113G         0B
raid-z2/vm-119-disk-0    4.60T  3.78M        0B    199K          3.58M         0B
raid-z2/vm-119-disk-1    4.69T   181G        0B   83.3G          97.6G         0B
raid-z2/vm-121-disk-0    4.60T  3.78M        0B    185K          3.60M         0B
raid-z2/vm-121-disk-1    4.70T   181G        0B   70.9G           110G         0B
raid-z2/vm-122-disk-0    4.60T  3.78M        0B    171K          3.61M         0B
raid-z2/vm-122-disk-1    4.70T   145G        0B   35.8G           109G         0B
raid-z2/vm-123-disk-0    4.60T   185K        0B    185K             0B         0B
raid-z2/vm-123-disk-1    4.60T  16.7G        0B   16.7G             0B         0B
raid-z2/vm-125-disk-0    4.60T  3.78M        0B    242K          3.54M         0B
raid-z2/vm-125-disk-1    4.70T   181G        0B   79.2G           102G         0B
rpool                     854G  6.72G        0B     96K             0B      6.72G
rpool/ROOT                854G  6.70G        0B     96K             0B      6.70G
rpool/ROOT/pve-1          854G  6.70G        0B   6.70G             0B         0B
rpool/data                854G    96K        0B     96K             0B         0B

Aber ich werde aus der Tabelle nicht schlau, welche zwei Werte muss ich denn vergleichen, um das feststellen zu können?

Was ich auch nicht ganz verstehe, die VM mit der ID 107 hat eine festplatte mit 100GB (und EFI 1MB), wo kommen denn die anderen disks zu der VM her? Ich habe diese nicht angelegt, so verhält es sich bei mehreren VMs? (In dem Fall 107 ist disk-9 in Verwendung laut config):

1674981442682.png

Kann ich die anderen disks problemlos löschen, wenn ich doppelt und dreifach geprüft habe, dass diese nicht in Verwendung sind?


Edit:
Ich denke mit zfs list -r pool kann ich die reale mit der Bezugsgröße abgleichen:

Code: 
root@pve01:~# zfs list -r raid-z2
NAME                      USED  AVAIL     REFER  MOUNTPOINT
raid-z2                  3.03T  4.60T      171K  /raid-z2
raid-z2/base-100-disk-2  3.28M  4.60T      142K  -
raid-z2/vm-100-disk-0    3.30M  4.60T      164K  -
raid-z2/vm-100-disk-1     130G  4.71T     14.6G  -
raid-z2/vm-104-disk-0     185K  4.60T      185K  -
raid-z2/vm-104-disk-1    20.8G  4.60T     20.8G  -
raid-z2/vm-104-disk-2     185K  4.60T      185K  -
raid-z2/vm-106-disk-0    3.78M  4.60T      178K  -
raid-z2/vm-106-disk-1     109G  4.67T     31.3G  -
raid-z2/vm-107-disk-0    3.78M  4.60T     99.5K  -
raid-z2/vm-107-disk-1     181G  4.77T     99.5K  -
raid-z2/vm-107-disk-2    3.78M  4.60T     99.5K  -
raid-z2/vm-107-disk-3     181G  4.77T     99.5K  -
raid-z2/vm-107-disk-4    3.78M  4.60T     99.5K  -
raid-z2/vm-107-disk-5     181G  4.77T     99.5K  -
raid-z2/vm-107-disk-6    99.5K  4.60T     99.5K  -
raid-z2/vm-107-disk-7    99.5K  4.60T     99.5K  -
raid-z2/vm-107-disk-8     116G  4.66T     45.5G  -
raid-z2/vm-107-disk-9    3.14M  4.60T      149K  -
raid-z2/vm-109-disk-1     193G  4.71T     77.4G  -
raid-z2/vm-109-disk-2    3.29M  4.60T      149K  -
raid-z2/vm-110-disk-0    3.14M  4.60T      149K  -
raid-z2/vm-110-disk-1     185K  4.60T      185K  -
raid-z2/vm-110-disk-2    13.4G  4.60T     13.4G  -
raid-z2/vm-111-disk-0     185K  4.60T      185K  -
raid-z2/vm-111-disk-1    15.4G  4.60T     15.4G  -
raid-z2/vm-112-disk-1     229G  4.77T     55.7G  -
raid-z2/vm-112-disk-2    3.29M  4.60T      149K  -
raid-z2/vm-113-disk-1     154G  4.69T     61.7G  -
raid-z2/vm-113-disk-2     436G  4.82T      204G  -
raid-z2/vm-113-disk-3    3.29M  4.60T      149K  -
raid-z2/vm-114-disk-0     185K  4.60T      185K  -
raid-z2/vm-114-disk-1    50.3G  4.60T     50.3G  -
raid-z2/vm-117-disk-1     155G  4.71T     39.5G  -
raid-z2/vm-117-disk-2    3.30M  4.60T      156K  -
raid-z2/vm-118-disk-0    3.14M  4.60T      149K  -
raid-z2/vm-118-disk-1    3.78M  4.60T      171K  -
raid-z2/vm-118-disk-2     230G  4.71T      117G  -
raid-z2/vm-119-disk-0    3.78M  4.60T      199K  -
raid-z2/vm-119-disk-1     181G  4.69T     83.3G  -
raid-z2/vm-121-disk-0    3.78M  4.60T      185K  -
raid-z2/vm-121-disk-1     181G  4.70T     70.9G  -
raid-z2/vm-122-disk-0    3.78M  4.60T      171K  -
raid-z2/vm-122-disk-1     145G  4.70T     35.8G  -
raid-z2/vm-123-disk-0     185K  4.60T      185K  -
raid-z2/vm-123-disk-1    16.7G  4.60T     16.7G  -
raid-z2/vm-125-disk-0    3.78M  4.60T      242K  -
raid-z2/vm-125-disk-1     181G  4.70T     79.2G  -

Was allerdings seltsam ist: alle diese VMs habe ich bereits einmal von einem Node zum anderen verschoben nachdem ich die Blocksize geändert habe. Was mache ich falsch? (Geändert über Datacenter -> Storage -> Edit -> 64k und Haken bei Thin und fertig)
 
Last edited:
illumina7 said:
Moin, eine Frage habe ich noch, vermutlich kann ich mit zfs list -o space feststellen, welche disks noch nicht in 64k erstellt worden sind, da die dann ja mehr Speicherplatz brauchen.
Click to expand...
Mit zfs get volblocksize kannst du dir die Blockgröße alle zvols anzeigen lassen.

illumina7 said:
Was ich auch nicht ganz verstehe, die VM mit der ID 107 hat eine festplatte mit 100GB (und EFI 1MB), wo kommen denn die anderen disks zu der VM her? Ich habe diese nicht angelegt, so verhält es sich bei mehreren VMs? (In dem Fall 107 ist disk-9 in Verwendung laut config):

1674981442682.png


Kann ich die anderen disks problemlos löschen, wenn ich doppelt und dreifach geprüft habe, dass diese nicht in Verwendung sind?
Click to expand...
Das sollte eigentlich nicht von PVE kommen. Hast du da vielleicht irgendwelche Script oder so laufen, welche mit den virtuellen Disks herumhantieren?

illumina7 said:
Was allerdings seltsam ist: alle diese VMs habe ich bereits einmal von einem Node zum anderen verschoben nachdem ich die Blocksize geändert habe. Was mache ich falsch? (Geändert über Datacenter -> Storage -> Edit -> 64k und Haken bei Thin und fertig)
Click to expand...
Das mit der Migration klappt glaube ich nur, wenn du die Gäste nicht auf dem selben Shared Storage oder Replizieren ZFS Pool migrierst. Sonst lässt er ja die virtuelen Disks intakt und starten die selben Gäste nur auf einem anderen Node, basierend auf identischen virtuellen Disks.
Die virtuellen Disks müssen schon einmal komplett gelöscht und neu erstellt werden bei dem Vorgang.
 
Da laufen keine weiteren scripts meinerseits mit, ist ziemlich alles auf default. Dann werde ich mal so eine ominöse disk löschen, zur Not hab ich ja die Backups.
Replikation habe ich deaktiviert, die Jobs gelöscht und die replizierten disks gelöscht bevor ich eine Migration gestartet habe.
Hat jetzt übrigens im 2. Durchgang geklappt mit den 64K Blöcken, jetzt wurde die zvol korrekt angelegt, keine Ahnung warum das nicht sofort funktioniert hat.

Danke an der Stelle für deine Geduld und Hilfe!

Mir ist jetzt noch etwas seltsames beim Verschieben der großen Fileserver aufgefallen - 1. es dauert es relativ lange, womit ich allerdings Leben könnte, so oft kommt das nicht vor, bei den kleinen VMs mit 100-300GB tritt das Verhalten auch nicht auf und die kopiert es relativ zügig (10-15min). Beim Verschieben der großen VMs allerdings hängen die beiden Hosts förmlich. Da geht fast nichts mehr, Pings auf einzelne VMs gehen verloren und damit Arbeiten ist unmöglich, die reagieren praktisch überhaupt nicht mehr auf Eingaben. Ist das so normal weil dem Raidz die Performance ausgeht? Kann ich den Engpass irgendwie feststellen?

Edit: dazu muss ich noch Anmerken, bei der Migration von Hyper-V zu proxmox habe ich die VMs alle per ssh kopiert, dabei ist das Verhalten nicht aufgetreten. Von Anfang bis Ende hat es mir die großen VMs mit Durchgehend 6-700 MB/s aufs Raidz kopiert. Während der Kopiervorgang gelaufen ist konnte ich auch nebenbei noch VMs konvertieren und konfigurieren, überhaupt kein Problem. Nur jetzt beim Verschieben von proxmox node1 zu node2 tritt der fast völlige Stillstand der Hosts auf.

Edit2: die beiden pve verfügen über eine dedizierte lwl verbindung im trunking (2x10Gbit/s), aktuell über balance-rr, und Kopiermodus habe ich deshalb auf insecure festgelegt.
 
Last edited:
illumina7 said:
Ist das so normal weil dem Raidz die Performance ausgeht? Kann ich den Engpass irgendwie feststellen?
Click to expand...
IO Delay in der Summary des PVe Nodes müsste dann in die Höhe schnellen, wenn der ZFS Pool überfordert ist.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back