Replikation auf 2. Node verdoppelt sich?!?

[fips]

Hallo Leute,

habe auf NodeA ein ZFS Mirror mit 3,71TB Storage, davon 2,32TB in use (62,59%).
Nachdem ich heute Replikation auf NodeB eingerichtet habe mit einem 3,71TB Storage ist dieses schon zu 3,62TB voll (97,68%).

Wie kann das sein?!?
Müsste der Speicherplatz auf NodeB nicht der gleiche bzw. etwas höher vielleicht wegen zusätzlichen Snapshotdaten sein.
Aber nicht fast das doppelte.

Hat jemand eine Idee woran das liegt?

Danke

Liebe Grüße, Stefan

 

[Dunuin]

Meine Glaskugel sagt mir du hast auf NodeA einen ZFS (Striped) Mirror und auf NodeB ein Raidz1 oder Raidz2?
Dann wäre es Padding Overhead und du müsstest die Volblocksize erhöhen, alle virtuellen Disks löschen und neu erstellen.

Wenn du kein Raidz1/2 auf NodeB hast, dann solltest du mit zfs list -o space gucken ob der Platz durch fehlendes Trim/Discard oder Snapshots verbraucht wird (USEDSNAP und REFRESERV sollten niedrig sein).

 

[fips]

Gute Glaskugel!
Habe wirklich auf dem 2. Node ein Z1 mit 6x800G.
Dachte er nimmt die Blocksize wie bei NodeA, zumindest stand der gleiche Wert (8k) (und thin provisioning) bei Storage.
Oder wo stelle ich Volblocksize ein?

Danke!

 

[Dunuin]

Mit standard ashift=12 verlierst du bei standard volblocksize=8K 50% deiner Rohkapazität, 2,4G nutzbar (oder eher 1.9G nutzbar, da man den Pool ja nicht mehr als 80-90% füllen sollte). Da müsstest du schon die volblocksize auf Minimum 32K erhöhen, damit du nur 20% der Rohkapazität verlierst. Postgres/MySQL Performance mit 8K/16K IO wäre dann aber natürlich z.B. schrecklich. Und die Blockgröße kann nur beim Erstellen eines Zvols definiert werden. Da muss man also all die Zvols zerstören und neu mit neuer Volblocksize erstellen.

 

[fips]

Ich merke gerade, dass ich das nicht verstanden habe
Ich dachte immer das auch bei ZFS die Art des RAID Levels entscheidet wie viele Disks für Parität verwendet werden und daher eine gewisse Anzahl an Laufwerksgrößen von der Bruttokapazität abgezogen werden muss.

Das nun auch das volblocksize so einen großen Einfluss darauf hat, habe ich bis dato nicht bemerkt.

Mir ist nur das Vorgehen jetzt nicht klar.

Das Zvol auf Node A, kann ich ja nicht anpassen. Aber da passt ja auch alles.
Auf NodeB kann ich das Zvol ruhig entfernen und neu erstellen. Jedoch trage ich beim Erstellen nur das ashift ein.
Erst bei Storage -> Add: ZFS kann ich Blocksize angeben, dort ist jedoch schon der Wert von NodeA drin.

Was tun um zB richtig 32k eintragen zu können?