[SOLVED] Optimierung Datendurchsatz bei Remote Sync-Jobs

[Sebi-S]

Hallo zusammen,
wir haben zwei pbs im Einsatz, die über das Internet synchronisiert werden sollen.
Aktuell ist der Datendurchsatz jedoch noch überschaubar, obwohl Hardware, Netzwerkinfrastruktur und erst Recht Internetverbindung sehr viel mehr hergeben.

Problem:
Trotz höherer möglicher Bandbreite (die sowohl lokal als auch remote abrufen können) kommen wir aktuell auf 30 bis 50 MByte/s.
Die theoretisch möglichen 125 MByte/s von unserem Gigabit-Anschluss liegen in großer Ferne. Parallel laufen bis zu vier Tasks, ohne parallele Tasks sind es um die 15 - 25MByte/s.

Frage:
Wie ist eine Optimierung zu einem höheren Datendurchsatz hin möglich? Gibt es eventuell ein best practice?

Im Detail:
Die pbs Maschinen (Version 2.3.2 und 2.3.3) verfügen über Xeon E5 CPUs, 64 GB Arbeitsspeicher, SSD für OS Partition, HDDs für das Backupstorage.
Die Synchronisation findet statt über eine Anbindung von 10Gbit synchron (pbs1 im Rechenzentrum) und 1GBit synchron (pbs2 lokal).
Auf dem pbs2 ist der pbs1 als Remote eingerichtet, die Sync-Jobs sind ebenfalls auf dem pbs2 eingerichtet.
Synchronisiert werden Storages verschiedener Größe von 200 GB bis 15 TB.

 

[Falk R.]

Hast du schon mal angeschaut ob irgendwo höhere Latenzen entstehen?

 

[ITT]

Wir haben keine Probleme mit den diversen Syncs.
Im Gegenteil, ich muss da immer Traffic shapen....

 

[fabian]

das klingt wie @Falk R. vermutet nach einem Latenzproblem - der Sync findet ueber HTTP/2 statt, hoehere Latenz fuehrt hier zu geringem Durchsatz

 

[ITT]

Hallo zusammen,
wir haben zwei pbs im Einsatz, die über das Internet synchronisiert werden sollen.
Aktuell ist der Datendurchsatz jedoch noch überschaubar, obwohl Hardware, Netzwerkinfrastruktur und erst Recht Internetverbindung sehr viel mehr hergeben.

Problem:
Trotz höherer möglicher Bandbreite (die sowohl lokal als auch remote abrufen können) kommen wir aktuell auf 30 bis 50 MByte/s.
Die theoretisch möglichen 125 MByte/s von unserem Gigabit-Anschluss liegen in großer Ferne. Parallel laufen bis zu vier Tasks, ohne parallele Tasks sind es um die 15 - 25MByte/s.

Frage:
Wie ist eine Optimierung zu einem höheren Datendurchsatz hin möglich? Gibt es eventuell ein best practice?

Im Detail:
Die pbs Maschinen (Version 2.3.2 und 2.3.3) verfügen über Xeon E5 CPUs, 64 GB Arbeitsspeicher, SSD für OS Partition, HDDs für das Backupstorage.
Die Synchronisation findet statt über eine Anbindung von 10Gbit synchron (pbs1 im Rechenzentrum) und 1GBit synchron (pbs2 lokal).
Auf dem pbs2 ist der pbs1 als Remote eingerichtet, die Sync-Jobs sind ebenfalls auf dem pbs2 eingerichtet.
Synchronisiert werden Storages verschiedener Größe von 200 GB bis 15 TB.

Parallel laufen bis zu vier Tasks

und

HDDs für das Backupstorage

passen nicht zusammen...
Mindestens SSD´s oder PCIe 4.0 NVMe´s für den Backupstorage (bei den Datenmengen) verwenden.

 

[Falk R.]

Parallel laufen bis zu vier Tasks

und

HDDs für das Backupstorage

passen nicht zusammen...
Mindestens SSD´s oder PCIe 4.0 NVMe´s für den Backupstorage (bei den Datenmengen) verwenden.

Deshalb hätte ich gern gewusst ob irgendwo Latenzen auftreten, wenn die bei den Disks auftreten, dann liegt es nicht an der Netzwerkverbindung.

 

[Sebi-S]

Also ich habe gerade nochmal nachgemessen, die Latenzen sind so bei dauerhaft unter 25ms.

 

[Falk R.]

Also ich habe gerade nochmal nachgemessen, die Latenzen sind so bei dauerhaft unter 25ms.

Das bremst ja schon etwas. Hast du nur die Netzwerklatenz nachgesehen? Auch mal auf die Disks geguckt ob da Warteschlangen oder Latenzen auftauchen?

 

[fabian]

25ms (netzwerk) latenz macht den unterschied zwischen:

$ proxmox-backup-client benchmark --repository root@pam@localhost:tank
Uploaded 2214 chunks in 5 seconds.
Time per request: 2260 microseconds.
TLS speed: 1855.59 MB/s
...

und

$ proxmox-backup-client benchmark --repository root@pam@localhost:tank
Uploaded 64 chunks in 5 seconds.
Time per request: 88078 microseconds.
TLS speed: 47.62 MB/s
..

ist natuerlich extremvergleich (loopback mit < 0.1ms latenz vs loopback mit 25ms kuenstlicher latenz), aber steigende latenz macht den http/2 durchsatz recht schnell gering (selber benchmark, latenz == delay auf loopback, sprich round trip ist x2 zu rechnen)

1ms
Uploaded 1595 chunks in 5 seconds.
TLS speed: 1332.75 MB/s
3ms
Uploaded 583 chunks in 5 seconds.
TLS speed: 482.07 MB/s
5ms
Uploaded 349 chunks in 5 seconds.
TLS speed: 287.54 MB/s
10ms
Uploaded 172 chunks in 5 seconds.
TLS speed: 138.67 MB/s
25ms
Uploaded 73 chunks in 5 seconds.
TLS speed: 55.35 MB/s

 

[Sebi-S]

Hallo Fabian,

danke für den Tipp, das geht in die richtige Richtung.
Aktuell fahre ich Tests ob ich mit mehreren simultanen Tasks die Geschwindigkeit erhöhen kann.
Denn an der Latenz über das Internet kann ich recht wenig ändern. ;-)

 

[ITT]

Kleiner Zusatz:
Nicht vergessen, es könnte innerhalb der Strecke A <-> B sich auch gerne ein Shaper befinden.
Meine Erfahrung ist, dass dies der PBS gar nicht gerne mag, bzw. hohe Latenzen begründen würde.

Edit: Hatte auch einen Fall, wo dazwischen irgendwo ein günstiger Switch angeschlossen war, mit standardmäßig aktivierten QoS.