sekundärer PBS - richtige ZFS Storage Einstellungen

C

crmspezi

Renowned Member
Sep 5, 2019
427
34
68
45
Germany/Thueringen
Hallo zusammen,
ich bin auf der Suche nach den richtigen ZFS Flags beim Datastore um eine maximale Sync Rate zum Slave-PBS zu erzielen. Derzeit erziele ich nicht mehr als 300MByte/s

Master PBS v3, 32x SAS Stripe-Mirror mit Special Devices NVME Mirror
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Dieser läuft sehr performant.


Salve PBS v4, 2x Stripe mit 4x SATA HDD Raidz1 (wie Raid50) mit Special Devices SATA Intel S3710
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Bei einer 10G Verbindung komme ich nicht über 300MByte/s hinaus. Es sollte aber doch mehr als das doppelte drin sein?
Probiert habe ich auf dem sekundären PBS auch recordsize=4M und compression=zstd-1, ohne Veränderungen

Was aufgefallen ist ist die ungleiche Lastverteilung im Raidz1 auf dem sekundären PBS:
Code: 
                                                        capacity     operations     bandwidth
pool                                                  alloc   free   read  write   read  write
----------------------------------------------------  -----  -----  -----  -----  -----  -----
ZFSRAID                                               20.5T   125T      0    958      0   251M
  raidz1-0                                            4.46T  68.3T      0    111      0  61.8M
    ata-ST20000NM007D-3DJ103_ZVT49L3B                     -      -      0     29      0  12.8M
    ata-ST20000NM007D-3DJ103_ZVT40L6P                     -      -      0     27      0  18.1M
    ata-ST20000NM007D-3DJ103_ZVT31HCM                     -      -      0     27      0  18.2M
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                     -      -      0     26      0  12.8M
  raidz1-1                                            16.0T  56.8T      0    275      0   183M
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4N89B                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                     -      -      0     69      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                     -      -      0     68      0  45.8M
special                                                   -      -      -      -      -      -
  mirror-2                                            43.5G   155G      0    570      0  5.43M
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4      -      -      0    285      0  2.72M
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4      -      -      0    284      0  2.72M
----------------------------------------------------  -----  -----  -----  -----  -----  -----

Das zweite Raidz1 läuft mit 3-facher Geschwindigkeit beim schreiben, und das seit einem Tag immer "unsymetrisch" bzgl. der Schreibrate.
6x HDDs hängen an einem gesteckten SATA Kontroller, 2x HDD und SSDs am Onboard Anschluss.

Hat jemand eine Idee wie ich die Übertragung erhöhen könnte und warum die Schreibraten so unterschiedlich und die Verteilung auch unterschiedlich ist, siehe hier:


Code: 
root@pbs01:~# zpool list -v
NAME                                                   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
ZFSRAID                                                146T  20.6T   125T        -         -     0%    14%  1.00x    ONLINE  -
  raidz1-0                                            72.8T  4.47T  68.3T        -         -     0%  6.14%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT49L3B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT40L6P                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT31HCM                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                 18.2T      -      -        -         -      -      -      -    ONLINE
  raidz1-1                                            72.8T  16.1T  56.7T        -         -     0%  22.1%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4N89B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                 18.2T      -      -        -         -      -      -      -    ONLINE
special                                                   -      -      -        -         -      -      -      -         -
  mirror-2                                             199G  43.7G   155G        -         -    57%  21.9%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
rpool                                                 59.5G  9.94G  49.6G        -         -    16%    16%  1.00x    ONLINE  -
  mirror-0                                            59.5G  9.94G  49.6G        -         -    16%  16.7%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE

Das 2x Raidz1 ist gelcih mit 8x HDDs und 2x SSD angelegt worden.

Viele Grüße
crmspezi
 
crmspezi said:
Hallo zusammen,
ich bin auf der Suche nach den richtigen ZFS Flags beim Datastore um eine maximale Sync Rate zum Slave-PBS zu erzielen. Derzeit erziele ich nicht mehr als 300MByte/s

Master PBS v3, 32x SAS Stripe-Mirror mit Special Devices NVME Mirror
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Dieser läuft sehr performant.


Salve PBS v4, 2x Stripe mit 4x SATA HDD Raidz1 (wie Raid50) mit Special Devices SATA Intel S3710
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Bei einer 10G Verbindung komme ich nicht über 300MByte/s hinaus. Es sollte aber doch mehr als das doppelte drin sein?
Probiert habe ich auf dem sekundären PBS auch recordsize=4M und compression=zstd-1, ohne Veränderungen

Was aufgefallen ist ist die ungleiche Lastverteilung im Raidz1 auf dem sekundären PBS:
Code: 
                                                        capacity     operations     bandwidth
pool                                                  alloc   free   read  write   read  write
----------------------------------------------------  -----  -----  -----  -----  -----  -----
ZFSRAID                                               20.5T   125T      0    958      0   251M
  raidz1-0                                            4.46T  68.3T      0    111      0  61.8M
    ata-ST20000NM007D-3DJ103_ZVT49L3B                     -      -      0     29      0  12.8M
    ata-ST20000NM007D-3DJ103_ZVT40L6P                     -      -      0     27      0  18.1M
    ata-ST20000NM007D-3DJ103_ZVT31HCM                     -      -      0     27      0  18.2M
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                     -      -      0     26      0  12.8M
  raidz1-1                                            16.0T  56.8T      0    275      0   183M
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4N89B                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                     -      -      0     69      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                     -      -      0     68      0  45.8M
special                                                   -      -      -      -      -      -
  mirror-2                                            43.5G   155G      0    570      0  5.43M
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4      -      -      0    285      0  2.72M
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4      -      -      0    284      0  2.72M
----------------------------------------------------  -----  -----  -----  -----  -----  -----

Das zweite Raidz1 läuft mit 3-facher Geschwindigkeit beim schreiben, und das seit einem Tag immer "unsymetrisch" bzgl. der Schreibrate.
6x HDDs hängen an einem gesteckten SATA Kontroller, 2x HDD und SSDs am Onboard Anschluss.

Hat jemand eine Idee wie ich die Übertragung erhöhen könnte und warum die Schreibraten so unterschiedlich und die Verteilung auch unterschiedlich ist, siehe hier:


Code: 
root@pbs01:~# zpool list -v
NAME                                                   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
ZFSRAID                                                146T  20.6T   125T        -         -     0%    14%  1.00x    ONLINE  -
  raidz1-0                                            72.8T  4.47T  68.3T        -         -     0%  6.14%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT49L3B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT40L6P                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT31HCM                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                 18.2T      -      -        -         -      -      -      -    ONLINE
  raidz1-1                                            72.8T  16.1T  56.7T        -         -     0%  22.1%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4N89B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                 18.2T      -      -        -         -      -      -      -    ONLINE
special                                                   -      -      -        -         -      -      -      -         -
  mirror-2                                             199G  43.7G   155G        -         -    57%  21.9%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
rpool                                                 59.5G  9.94G  49.6G        -         -    16%    16%  1.00x    ONLINE  -
  mirror-0                                            59.5G  9.94G  49.6G        -         -    16%  16.7%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE

Das 2x Raidz1 ist gelcih mit 8x HDDs und 2x SSD angelegt worden.

Viele Grüße
crmspezi
Click to expand...
Problem mit der ungelichen Verteilung habe ich gelöst, es lag nicht am PBS v4 mit dem neuen OpenZFS, sondern am Controller, ich habe einen 8-Port LSI IT-Mode für die HDDs eingebaut und habe das Problem erledigt damit.

ZFSRAID 21.1T 125T 226 1.88K 1.47M 535M
raidz1-0 4.62T 68.1T 0 373 0 265M
ata-ST20000NM007D-3DJ103_ZVT49L3B - - 0 93 0 66.2M
ata-ST20000NM007D-3DJ103_ZVT40L6P - - 0 92 0 66.2M
ata-ST20000NM007D-3DJ103_ZVT31HCM - - 0 93 0 66.2M
ata-ST20000NM007D-3DJ103_ZVT3ZGG8 - - 0 94 0 66.2M
raidz1-1 16.5T 56.3T 0 357 0 254M
ata-ST20000NM007D-3DJ103_ZVT4XSY4 - - 0 89 0 63.6M
ata-ST20000NM007D-3DJ103_ZVT4N89B - - 0 88 0 63.6M
ata-ST20000NM007D-3DJ103_ZVT4S9B5 - - 0 90 0 63.6M
ata-ST20000NM007D-3DJ103_ZVT3RQF0 - - 0 88 0 63.6M
special - - - - - -
mirror-2 44.9G 154G 226 1.17K 1.47M 16.2M
ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4 - - 120 595 790K 8.09M
ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4 - - 105 600 713K 8.09M
---------------------------------------------------- ----- ----- ----- ----- ----- -----
rpool 9.94G 49.6G 0 24 0 211K
mirror-0 9.94G 49.6G 0 24 0 211K
ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part3 - - 0 12 0 105K
ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part3 - - 0 11 0 105K
---------------------------------------------------- ----- ----- ----- ----- ----- -----


Die Bandbreite stimmt nun fast, könnte aber noch besser sein. Hilft hier recordsize zu ändern?
 
crmspezi said:
Hallo zusammen,
ich bin auf der Suche nach den richtigen ZFS Flags beim Datastore um eine maximale Sync Rate zum Slave-PBS zu erzielen. Derzeit erziele ich nicht mehr als 300MByte/s

Master PBS v3, 32x SAS Stripe-Mirror mit Special Devices NVME Mirror
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Dieser läuft sehr performant.


Salve PBS v4, 2x Stripe mit 4x SATA HDD Raidz1 (wie Raid50) mit Special Devices SATA Intel S3710
recordsize=1M / sync=disabled / compression=lz4 relatime=on atime=off

Bei einer 10G Verbindung komme ich nicht über 300MByte/s hinaus. Es sollte aber doch mehr als das doppelte drin sein?
Probiert habe ich auf dem sekundären PBS auch recordsize=4M und compression=zstd-1, ohne Veränderungen

Was aufgefallen ist ist die ungleiche Lastverteilung im Raidz1 auf dem sekundären PBS:
Code: 
                                                        capacity     operations     bandwidth
pool                                                  alloc   free   read  write   read  write
----------------------------------------------------  -----  -----  -----  -----  -----  -----
ZFSRAID                                               20.5T   125T      0    958      0   251M
  raidz1-0                                            4.46T  68.3T      0    111      0  61.8M
    ata-ST20000NM007D-3DJ103_ZVT49L3B                     -      -      0     29      0  12.8M
    ata-ST20000NM007D-3DJ103_ZVT40L6P                     -      -      0     27      0  18.1M
    ata-ST20000NM007D-3DJ103_ZVT31HCM                     -      -      0     27      0  18.2M
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                     -      -      0     26      0  12.8M
  raidz1-1                                            16.0T  56.8T      0    275      0   183M
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4N89B                     -      -      0     68      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                     -      -      0     69      0  45.8M
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                     -      -      0     68      0  45.8M
special                                                   -      -      -      -      -      -
  mirror-2                                            43.5G   155G      0    570      0  5.43M
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4      -      -      0    285      0  2.72M
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4      -      -      0    284      0  2.72M
----------------------------------------------------  -----  -----  -----  -----  -----  -----

Das zweite Raidz1 läuft mit 3-facher Geschwindigkeit beim schreiben, und das seit einem Tag immer "unsymetrisch" bzgl. der Schreibrate.
6x HDDs hängen an einem gesteckten SATA Kontroller, 2x HDD und SSDs am Onboard Anschluss.

Hat jemand eine Idee wie ich die Übertragung erhöhen könnte und warum die Schreibraten so unterschiedlich und die Verteilung auch unterschiedlich ist, siehe hier:


Code: 
root@pbs01:~# zpool list -v
NAME                                                   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
ZFSRAID                                                146T  20.6T   125T        -         -     0%    14%  1.00x    ONLINE  -
  raidz1-0                                            72.8T  4.47T  68.3T        -         -     0%  6.14%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT49L3B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT40L6P                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT31HCM                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3ZGG8                 18.2T      -      -        -         -      -      -      -    ONLINE
  raidz1-1                                            72.8T  16.1T  56.7T        -         -     0%  22.1%      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4XSY4                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4N89B                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT4S9B5                 18.2T      -      -        -         -      -      -      -    ONLINE
    ata-ST20000NM007D-3DJ103_ZVT3RQF0                 18.2T      -      -        -         -      -      -      -    ONLINE
special                                                   -      -      -        -         -      -      -      -         -
  mirror-2                                             199G  43.7G   155G        -         -    57%  21.9%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part4   200G      -      -        -         -      -      -      -    ONLINE
rpool                                                 59.5G  9.94G  49.6G        -         -    16%    16%  1.00x    ONLINE  -
  mirror-0                                            59.5G  9.94G  49.6G        -         -    16%  16.7%      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400K2480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE
    ata-INTEL_SSDSC2BB480G7_PHDV712400DF480BGN-part3    60G      -      -        -         -      -      -      -    ONLINE

Das 2x Raidz1 ist gelcih mit 8x HDDs und 2x SSD angelegt worden.

Viele Grüße
crmspezi
Click to expand...
Moin,

bitte beschreibe deine Hardware genau, insbesondere die der 6x SATAIII PCIe Karte und des Mainboards.
Dann schaue mal auf die benötigten PCIe X xN Lines.
für wie viel ist der PCIe-Bus und die 6x SATAIII PCIe Karte spezifiziert?
 
Last edited:
  • Like
Reactions: Johannes S
news said:
Moin,

bitte beschreibe deine Hardware genau, insbesondere die der 6x SATAIII PCIe Karte und des Mainboards.
Dann schaue mal auf die benötigten PCIe X xN Lines.
für wie viel ist der PCIe-Bus und die 6x SATAIII PCIe Karte spezifiziert?
Click to expand...
Danke für Deine Antwort. Die 6x SATAIII Karte hat einen PCIex4 Anschluss, ist aber laut Datenblatt mit x2 angeschlossen. Selbst das reicht bei PCIe 3.0 für ca. 2Gbyte/s, abzüglich 20% Decodierung (10Bit/Byte) bleiben noch 1,6GByte/s, geteilt durch 6x HDG ist dann ca. 250MByte/s. Das reicht also voll aus.

Der Wechsel des SATA Kontrollers bracht nur kurzfristig was, bis die HDDs wieder heiß waren. Es lag also nicht am Cointroller. Es liegt an der Temperatur der HDDs durch schlechte Gehäusekühlung. Die oberen HDDs wurden ca. 10 Grad wärmer (64 Grad - viel zu viel!). Verwendet wird ein Silverston DS-380 v2. Hier werde ich alle 3 eingebauten 120mm tauschen. Ein Ventilator mit 40cm Durchmesser direkt vor dem Gehäuse (Frontblende aufgeklappt) bringt nach ca. 1h Betrieb alles unter 48C. Damit habe ich dann gleichmäßige Leistung wie es scheint.

Ich hätte nie geglaubt, das dies sich hohe Temperaturen im DS-380 so auf die HDDs auswirken. Ich tausche nun die Standardlüfter gegen ARCTIC P12 PWM PST CO in der Hoffnung das dies hilft.

Danach berichte ich nochmals.
 
  • Like
Reactions: Johannes S
Danke, aber ich bin nach wie vor an der Antwort zu "Welche recordsize einstellen?" Interessiert. Das Performance Hauptproblem habe ich ja selbst gelöst und hier kommuniziert.

Ich würde mich sehr über eine Antwort, vor allem gern auch vom Hersteller, freuen.
 
Hallo,
das hängt ganz stark von den realen Daten ab.
Bei meinen Videos habe ich für das ZFS Dataset eine Recordsize von 512k gesetzt.
Bei anderen bleibt es beim default Recordsize von 128k.

Test bitte mal das Script mit realen Daten, ja es geht um einen anderen Sachverhalt.
Code: 
find . -type f -print0 | xargs -0 ls -l | awk '{ n=int(log($5)/log(2)); if (n<10) { n=10; } size[n]++ } END { for (i in size) printf("%d %d\n", 2^i, size[i]) }' | sort -n | awk 'function human(x) { x[1]/=1024; if (x[1]>=1024) { x[2]++; human(x) } } { a[1]=$1; a[2]=0; human(a); printf("%3d%s: %6d\n", a[1],substr("kMGTEPYZ",a[2]+1,1),$2) }'
Quelle: https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954
 
Last edited:
news said:
Hallo,
das hängt ganz stark von den realen Daten ab.
Bei meinen Videos habe ich für das ZFS Dataset eine Recordsize von 512k gesetzt.
Bei anderen bleibt es beim default Recordsize von 128k.

Test bitte mal das Script mit realen Daten, ja es geht um einen anderen Sachverhalt.
Code: 
find . -type f -print0 | xargs -0 ls -l | awk '{ n=int(log($5)/log(2)); if (n<10) { n=10; } size[n]++ } END { for (i in size) printf("%d %d\n", 2^i, size[i]) }' | sort -n | awk 'function human(x) { x[1]/=1024; if (x[1]>=1024) { x[2]++; human(x) } } { a[1]=$1; a[2]=0; human(a); printf("%3d%s: %6d\n", a[1],substr("kMGTEPYZ",a[2]+1,1),$2) }'
Quelle: https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954
Click to expand...
Vielen Dank für Deine Hilfe und die Quelle.
Ich prüfe das heute.

Aber wo muss ich das ausführen?
auf dem primären PBS oder dem Sekundären PBS? Und warum sollte dies bei der Replikation per Pull vom primären PBS beim sekundären PBS denn relevant sein? Sind nicht alle Chunks, die vom primären PBS gepullt werden, immer 4M groß? Oder habe ich die Beschreibung vom PBS falsch interpretiert?
Viele Grüße.
 
Evtl. meinst Du die PBS Chunkgrößen von ca. 4 MB? Ich habe deinen Thread jetzt nicht im Kopf.

ZFS ist ein lokales Datei und Filesystem. Richtig Daten können über irrwege von A nach B gesendet werden.
Am Ziel wird nach den Ziel-Regeln gespeichert.
 
  • Like
Reactions: Johannes S
You must log in or register to reply here.
Top Bottom