Replizierung mehr als langsam

[Havan.na]

Hallo Gemeinde,

ich bin absolut neu auf dem Gebiet Proxmox und stehe nun vor einem Performance Problem.
Ich hatte ein Testsystem mit alten Rechnern aufgebaut, es lief alles problemlos und dann habe ich mal 3 neue Rechner angeschafft.
3 Nodes im Cluster, auf allen HA aktiviert - eine VM drin und die möchte ich nun von Node2 zu Node1 replizieren (Alle Nodes lokalen ZFS Speicher).
Einrichten der Replizierung auch Problemlos, Start nach wenigen Sekunden aber dann - Gähn!
Logfile:
2021-10-07 11:12:01 100-0: start replication job 2021-10-07 11:12:01 100-0: guest => VM 100, running => 0 2021-10-07 11:12:01 100-0: volumes => ZFS:vm-100-disk-0 2021-10-07 11:12:02 100-0: create snapshot '__replicate_100-0_1633597921__' on ZFS:vm-100-disk-0 2021-10-07 11:12:02 100-0: using secure transmission, rate limit: none 2021-10-07 11:12:02 100-0: full sync 'ZFS:vm-100-disk-0' (__replicate_100-0_1633597921__) 2021-10-07 11:12:04 100-0: full send of ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ estimated size is 19.5G 2021-10-07 11:12:04 100-0: total estimated size is 19.5G 2021-10-07 11:12:05 100-0: TIME SENT SNAPSHOT ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ 2021-10-07 11:12:05 100-0: 11:12:05 2.05M ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ 2021-10-07 11:12:06 100-0: 11:12:06 2.05M ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ 2021-10-07 11:12:07 100-0: 11:12:07 2.05M ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ ..... 2021-10-08 08:34:25 100-0: 08:34:25 5.25G ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ 2021-10-08 08:34:26 100-0: 08:34:26 5.25G ZFS/vm-100-disk-0@__replicate_100-0_1633597921__ 2021-10-08 08:34:27 100-0: 08:34:27 5.25G ZFS/vm-100-disk-0@_
Wenn das so weiter geht dürfte der Job nächste Woche fertig sein.

Unterschied zu meinem Testsystem außer aktuellerem Prozessor ist reichlich Speicher und viele Netzwerkkarten.
Ich habe auch schon mein Bond wieder rausgeschmissen - daran lag es wohl nicht
An den Festplatten oder am ZFS wohl auch nicht da die VM flott läuft.

Nun bin ich auf der Suche nach Ideen woran es liegen könnte

Gruß aus Franken
Thomas

 

[Stoiko Ivanov]

Ist im journal beider Maschinen vl. ein Hinweis auf Probleme (kernel-traces etc.)?
(`journalctl --since 2021-10-07`)

bzw. auch im output von `dmesg` nachschauen.

bitte auch `pveversion -v` posten

Ich hoffe das hilft!

 

[Havan.na]

Hallo,
das ist für mich alles unauffällig.

Danke für die Mühe

Gruß Thomas

 

[Havan.na]

Moin,
ich habe die 3 Nodes nun nochmal platt gemacht und habe alles neu installiert,
gleiches Problem.
Was auffällt:
Keine Last auf dem Cluster, alle CPUs so zwischen 0 und 1% Auslastung.
Eine Replikation von Node-3 zu Node-1 geht meines Erachtens recht flott (komplett 6 min), die CPU Last von Node-1 steigt von 1 auf ca. 10%
Eine Replikation von Node-1 zu Node-3 gähnend langsam, CPU Last von Node-3 bewegt sich nicht.

noch ne Idee?

Gruß Thomas

 

[Stoiko Ivanov]

Hmm -

das ist für mich alles unauffällig.

sieht für mich derzeit auch in Ordnung aus.

vielleicht mal das Problem ein wenig eingrenzen:
* mittels iperf/iperf3 die Bandbreite zwischen den hosts getestet wird
* mittels fio der zpool getestet wird (siehe z.b. unser Benchmarkpaper für die fio commandline (vorsicht kann potentiell Daten zerstören):
https://www.proxmox.com/en/downloads/item/proxmox-ve-zfs-benchmark-2020
* sonst, wenn platz ist mal manuell ein dataset auf Node-1 auf ein anderes ebenso auf Node-1 zfs send+recv (selbiges für Node-3)

 

[Havan.na]

Hallo, hat sich erledigt.
Wunderheilung - nein. Nachdem ich aus Frust neue Switche und neue Kabel bestellt habe funktioniert es jetzt tadellos.
Als Schuldigen habe ich 2 Patchkabel ausgemacht, mal geht, mal geht nicht, Anzeige beim Switch alles auf grün, dennoch irgendwie Müll.

So ein Kabel hat mich vor Jahren schon mal ein paar Tage gekostet, bin scheinbar nicht lernfähig ;-).

Sanfte Grüße aus Franken.
Thomas