Replikations Ziel wird deutlich größer als Quelle

B

bforpc

Renowned Member
Nov 26, 2013
147
4
83
Hamburg
Hallo,

Ich repliziere seit 2 Tagen rund 13,5 TB - inkl Snspashots (eine große ZFS Datenpartition) auf einen neuen Server.
Dort sind mittlerweile rund 15TB verbraucht und der repliziert immer noch.

Quelle:
store/proxmox/vm/vm-60100-disk-0 776G 13.5T 366G 13.2T 0B 0B

akutell Ziel:
store/proxmox/vm/vm-60100-disk-0 4.23T 14.8T 0B 14.8T 0B 0B

Wie kann das denn sein?

Grüße aus dem Norden

Bfo
 
verschiedene pool setups oder zvol settings (ashift, raidz vs mirror, compression)? wie replizierst du denn?
 
Hallo Fabian,

die Replikation läuft Standard über die Oberfläche. Die beiden ZFS Pools sind vom gleichen Typ und Version (auch Kernel).
Es handelt sich jeweils um raidz1 aus 4 Platten, ahsift ist überall 0, kompression ist bei beiden "Vorgabe", also vermutlich aus und keine Deduplizierung.
Einziger Unterschied ist, dass die Quelle SATA Laufwerke sind und das Ziel nvme's... aber das sollte ja keinen Unterschied machen.
Auf dem Ziel sind mittlerweile 15,2Tb ...

Bfo
 
Last edited:
dann bitte mal "zpool get all store", "zpool list -v store" und "zfs list -t all -r -o space,compression,volblocksize,logicalreferenced,logicalused store/proxmox/vm/vm-60100-disk-0" auf beiden nodes ausfuehren und den output hier in code tags posten.
 
Hallo,

danke für die schnelle Info. Langsam wirds eng auf dem Ziel ...
Die Quelle
Code: 
zpool get all store
NAME   PROPERTY                       VALUE                          SOURCE
store  size                           14.5T                          -
store  capacity                       93%                            -
store  altroot                        -                              default
store  health                         ONLINE                         -
store  guid                           1957964309850140804            -
store  version                        -                              default
store  bootfs                         -                              default
store  delegation                     on                             default
store  autoreplace                    off                            default
store  cachefile                      -                              default
store  failmode                       wait                           default
store  listsnapshots                  off                            default
store  autoexpand                     off                            default
store  dedupratio                     1.00x                          -
store  free                           903G                           -
store  allocated                      13.7T                          -
store  readonly                       off                            -
store  ashift                         0                              default
store  comment                        -                              default
store  expandsize                     -                              -
store  freeing                        0                              -
store  fragmentation                  68%                            -
store  leaked                         0                              -
store  multihost                      off                            default
store  checkpoint                     -                              -
store  load_guid                      16710938965708143918           -
store  autotrim                       off                            default
store  compatibility                  off                            default
store  feature@async_destroy          enabled                        local
store  feature@empty_bpobj            active                         local
store  feature@lz4_compress           active                         local
store  feature@multi_vdev_crash_dump  enabled                        local
store  feature@spacemap_histogram     active                         local
store  feature@enabled_txg            active                         local
store  feature@hole_birth             active                         local
store  feature@extensible_dataset     active                         local
store  feature@embedded_data          active                         local
store  feature@bookmarks              enabled                        local
store  feature@filesystem_limits      enabled                        local
store  feature@large_blocks           enabled                        local
store  feature@large_dnode            enabled                        local
store  feature@sha512                 enabled                        local
store  feature@skein                  enabled                        local
store  feature@edonr                  enabled                        local
store  feature@userobj_accounting     active                         local
store  feature@encryption             enabled                        local
store  feature@project_quota          active                         local
store  feature@device_removal         enabled                        local
store  feature@obsolete_counts        enabled                        local
store  feature@zpool_checkpoint       enabled                        local
store  feature@spacemap_v2            active                         local
store  feature@allocation_classes     enabled                        local
store  feature@resilver_defer         enabled                        local
store  feature@bookmark_v2            enabled                        local
store  feature@redaction_bookmarks    enabled                        local
store  feature@redacted_datasets      enabled                        local
store  feature@bookmark_written       enabled                        local
store  feature@log_spacemap           active                         local
store  feature@livelist               enabled                        local
store  feature@device_rebuild         enabled                        local
store  feature@zstd_compress          enabled                        local
store  feature@draid                  enabled                        local


zpool list -v store
NAME                                                      SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
store                                                    14.5T  13.7T   903G        -         -    68%    93%  1.00x    ONLINE  -
  mirror-0                                               14.5T  13.7T   903G        -         -    68%  93.9%      -    ONLINE
    ata-TOSHIBA_MG08ACA16TEY_Y1Q0A01EFVNG                14.6T      -      -        -         -      -      -      -    ONLINE
    ata-TOSHIBA_MG08ACA16TEY_Y1P0A00XFVNG                14.6T      -      -        -         -      -      -      -    ONLINE
logs                                                         -      -      -        -         -      -      -      -  -
  mirror-1                                               15.5G  22.5M  15.5G        -         -     0%  0.14%      -    ONLINE
    ata-SAMSUNG_MZ7LM1T9HCJM-00005_S2E2NXRK300983-part5    16G      -      -        -         -      -      -      -    ONLINE
    ata-SAMSUNG_MZ7LM1T9HCJM-00005_S2E2NXRK301038-part5    16G      -      -        -         -      -      -      -    ONLINE
cache                                                        -      -      -        -         -      -      -      -  -
  ata-SAMSUNG_MZ7LM1T9HCJM-00005_S2E2NXRK300983-part6      64G  53.2G  10.8G        -         -     0%  83.1%      -    ONLINE
  ata-SAMSUNG_MZ7LM1T9HCJM-00005_S2E2NXRK301038-part6      64G  53.4G  10.6G        -         -     0%  83.4%      -    ONLINE



zfs list -t all -r -o space,compression,volblocksize,logicalreferenced,logicalused store/proxmox/vm/vm-60100-disk-0
NAME                                                                 AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD  COMPRESS        VOLBLOCK  LREFER  LUSED
store/proxmox/vm/vm-60100-disk-0                                      775G  13.5T      368G   13.2T             0B         0B  off                   8K   13.1T  13.5T
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-19_06:45:02_daily      -  57.3G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-20_06:45:02_daily      -  34.1G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-21_07:45:02_daily      -  36.8G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-22_07:45:02_daily      -  1.08G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@__replicate_60100-0_1697964180__        -   649M         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-23_06:45:02_daily      -  1.61G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@__replicate_60100-0_1698050880__        -   596M         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@__replicate_60100-0_1698063000__        -  1.18G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-24_06:45:03_daily      -  25.6G         -       -              -          -  -                      -   13.1T      -
store/proxmox/vm/vm-60100-disk-0@autosnap_2023-10-25_06:45:02_daily      -  1.06G         -       -              -          -  -                      -   13.1T      -

Das Ziel

Code: 
zpool get all store
NAME   PROPERTY                       VALUE                          SOURCE
store  size                           27.7T                          -
store  capacity                       80%                            -
store  altroot                        -                              default
store  health                         ONLINE                         -
store  guid                           3425652032686414453            -
store  version                        -                              default
store  bootfs                         -                              default
store  delegation                     on                             default
store  autoreplace                    off                            default
store  cachefile                      -                              default
store  failmode                       wait                           default
store  listsnapshots                  off                            default
store  autoexpand                     off                            default
store  dedupratio                     1.00x                          -
store  free                           5.38T                          -
store  allocated                      22.3T                          -
store  readonly                       off                            -
store  ashift                         0                              default
store  comment                        -                              default
store  expandsize                     -                              -
store  freeing                        0                              -
store  fragmentation                  0%                             -
store  leaked                         0                              -
store  multihost                      off                            default
store  checkpoint                     -                              -
store  load_guid                      15212628131250241961           -
store  autotrim                       off                            default
store  compatibility                  off                            default
store  feature@async_destroy          enabled                        local
store  feature@empty_bpobj            active                         local
store  feature@lz4_compress           active                         local
store  feature@multi_vdev_crash_dump  enabled                        local
store  feature@spacemap_histogram     active                         local
store  feature@enabled_txg            active                         local
store  feature@hole_birth             active                         local
store  feature@extensible_dataset     active                         local
store  feature@embedded_data          active                         local
store  feature@bookmarks              enabled                        local
store  feature@filesystem_limits      enabled                        local
store  feature@large_blocks           enabled                        local
store  feature@large_dnode            enabled                        local
store  feature@sha512                 enabled                        local
store  feature@skein                  enabled                        local
store  feature@edonr                  enabled                        local
store  feature@userobj_accounting     active                         local
store  feature@encryption             enabled                        local
store  feature@project_quota          active                         local
store  feature@device_removal         enabled                        local
store  feature@obsolete_counts        enabled                        local
store  feature@zpool_checkpoint       enabled                        local
store  feature@spacemap_v2            active                         local
store  feature@allocation_classes     enabled                        local
store  feature@resilver_defer         enabled                        local
store  feature@bookmark_v2            enabled                        local
store  feature@redaction_bookmarks    enabled                        local
store  feature@redacted_datasets      enabled                        local
store  feature@bookmark_written       enabled                        local
store  feature@log_spacemap           active                         local
store  feature@livelist               enabled                        local
store  feature@device_rebuild         enabled                        local
store  feature@zstd_compress          enabled                        local
store  feature@draid                  enabled                        local



zpool list -v store
 zpool list -v store
NAME                                                       SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
store                                                     27.7T  22.3T  5.38T        -         -     0%    80%  1.00x    ONLINE  -
  raidz1-0                                                27.7T  22.3T  5.38T        -         -     0%  80.6%      -    ONLINE
    nvme-SAMSUNG_MZQL27T6HBLA-00A07_S6CKNT0W602951-part5  6.93T      -      -        -         -      -      -      -    ONLINE
    nvme-SAMSUNG_MZQL27T6HBLA-00A07_S6CKNT0W711642-part5  6.93T      -      -        -         -      -      -      -    ONLINE
    nvme-SAMSUNG_MZQL27T6HBLA-00A07_S6CKNT0W602281-part5  6.93T      -      -        -         -      -      -      -    ONLINE
    nvme-SAMSUNG_MZQL27T6HBLA-00A07_S6CKNT0W711047-part5  6.93T      -      -        -         -      -      -      -    ONLINE





zfs list -t all -r -o space,compression,volblocksize,logicalreferenced,logicalused store/proxmox/vm/vm-60100-disk-0
NAME                              AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD  COMPRESS        VOLBLOCK  LREFER  LUSED
store/proxmox/vm/vm-60100-disk-0  3.79T  15.2T        0B   15.2T             0B         0B  off                   8K   10.5T  10.5T

Verwunderlich ist auch, dass auf dem Ziel nur noch 3,79TB zur Verfügung stehen, obwohl von den 27,7T erst 15,2 verbraucht sind.
Und da ist (noch) nichts anderes drauf.
 
Last edited:
Hallo,

ich bin verwirrt... das heisst jetzt, dass 13,5Tb von einem "Mirror" mindestens 10-n% mehr Speicher brauchen?
OMG ... das ist ein Problem, ein großes Problem - dafür ist kein Platz.
Kann man das in irgendeiner Weise verhindern - an den ZFS Einstellungen tunen (notfalls mit nochmaligen kompletten Anlegen des Storages)?

Bfo
 
die einfachste loesung ist mirror statt raidz. die alternative ist einen groesseren volblocksize zu verwenden - aber das geht nur durch einen kompletten rewrite der daten und hat auswirkungen auf die performance (groesserer block size => mehr write amplification).
 
Danke für die Info. Das rewrite des Systems wäre kein Problem.
Welche Blocksize wäre zu empfehlen?
Die Daten bestehen tatsächlich aus sehr vielen kleinen Dateien in der Größe von 50Kb bis 50Mb.

Bfo
 
Last edited:
du kannst mit einem kleineren volume experimentieren welchen effekt der volblocksize auf den platzverbrauch des volumes hat (der default ist 8k, d.h. du koenntest mit 16/32/64k probieren).

ich versuch nochmal zu beschreiben was der (potenzielle) nachteil eines groesseren volblocksize ist - das filesystem das auf dem volume liegt arbeitet selbst auch in bloecken. und die software, die daten drauf ablegt auch. wenn dein gast nun einen (kleinen!) block veraendern will, dann muss ZFS einen grossen (ZFS) block lesen, und im falle einer aenderung, auch wieder einen grossen block schreiben. das heisst die I/O last die vom gast erzeugt wird wird dann auf ZFS ebene "vergroessert" ("amplification"), was zu schlechterer performance (und hoeherer abnutzung bei flash speicher) fuehrt. je nachdem was dein gast genau tut kann eventuell gegengesteuert werden (filesystem und software entsprechend tunen, damit dort ebenfalls mit passend grossen oder zumindest groesseren bloecken gearbeitet wird).

du findest hier im forum sicher auch einige threads mit erfahrungswerten.
 
  • Like
Reactions: herzkerl
Hallo,

nochmal herzlichen Dank für die Erklärung. Soweit auch so klar.

Der Zusammenhang zwischen den Blockgrößen und der Hardware ist doch auch relevant, oder?
Die NVME's haben
Sector size (logical/physical): 512 bytes / 4096 bytes

Ich habe mich zwischenzeitlich in diversen Seiten kundig machen wollen, jedoch wird es eher unklarer. Es gibt so viele Stellschrauben zu verstellen.
Gibt es einen "Mittelwert" den ich einsetzen kann um den Gap zwischen dem Spiegel und dem raidz zu verkleinern (muss nicht 1:1 sein, aber 20% mehr Platz ist "no go" - mit 10% könnten wir leben.
Geschwindigkeit: Vorher lagen die Daten auf drehenden SATA's, jetzt auf schnellen NVME's - von daher ist allein dieser Geschwindigkeitsvorteil etwas, was die Änderung der Blocksize verschmerzbar machen würde.

Bfo
 
ZFS verwendet seit ewigkeiten 4k als "pool blocksize" (ashift=12), sofern du beim anlegen nicht explizit was anderes angibst. deine NVME wird vermutlich intern auch groessere bloecke verwenden als 4k ;)

auf ZFS ebene hast du (wenn du bei raidz bleiben willst) nur den volblocksize als stellknopf. du kannst einfach ein volume mit ein paar GB groesse und verschiedenen volblocksizes anlegen, vollschreiben, und dann den platzverbrauch anschauen. um dann die performance zu verbessern, kannst du im gast (wie gesagt, abhaengig davon was dort genau laeuft!) wenn moeglich auch noch block sizes erhoehen.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back