LCAP 802.3ad vs balance-rr

[jolu1705]

Hallo,

Ich habe im PVE und PBS jeweils eine zusätzliche NIC verbaut.
Proxmox und Proxmox Backup Server haben nun 3x 1GB NICs.
Diese habe ich über ein BOND gebündelt.

1. Versuch
Alle auf 802.3ad gestellt und dies in meinen Switches aktiviert
Ich habe verstanden das dies die Bandbreite auf 3GB erhöht, allerdings nur von unterschiedlichen Quellen.

2. Version
Alle auf balance-rr gestellt und auf den Switches 802.3ad wieder deaktiviert

Hier sollte nun Paket A über NIC1, Paket B über NIC2, Paket C über NIC3 usw. etc. laufen und die Bandbreite - auch von einer IP - auf 3GB gehen.

Version 2 ist was ich will.
Mein PVE zu PBS Backup dauert aktuell 4 Tage weil max. ~65MB/s übertragen werden.
Ich hatte gehofft über mehr Bandbreite das Problem lösen zu können.
Platten und CPU langweilen sich nämlich, daran sollte es also nicht liegen.

Leider steigt meine Performance nicht weiter.

Ich suche eine Möglichkeit die Bandbreite zwischen PVE und PBS zu erhöhen und den Datendurchsatz beim Backup dadurch zu verbessern.
Der Umstieg auf 10GB ist derzeit nicht möglich.

Vielen Dank

 

[Dunuin]

~65MB/s lastet doch gerade mal eine halbe Gbit NIC aus. Das Problem werden viel eher deine Laufwerke im PVE oder PBS sein. Mehr als 120MB/s bekomme ich z.B. nicht mal mit einer 10Gbit NIC hin. Mehr schaffen da die Laufwerke einfach nicht (4x 7200RPM HDDs im Raidz1 am Backup Storage und 5x SSD als VM Storage).
Wenn ich das richtig verstanden habe braucht der PBS auch SSDs oder wenigstens HDDs mit einer SSD als special device, weil sonst die HDDs mit den vielen IOPS einfach nicht klarkommen.
Du konntest auch mal versuchen die Kompression zu LZ4 zu ändern oder diese ganz wegzulassen. Die CPU kann da auch ganz schnell der Flaschenhals sein.

 

[jolu1705]

Ich hab eine SSD im System und da wäre auch noch Platz. Kann ich den Platz zu einen "Special Device" machen und wie geht das?

 

[Dunuin]

Ich hab eine SSD im System und da wäre auch noch Platz. Kann ich den Platz zu einen "Special Device" machen und wie geht das?

Prinzipiell ja, aber nicht vergessen das alles auf dem Pool verloren ist wenn dein Special Device ausfällt. Falls die HDDs also im Mirror oder Raidz sind sollte das Special Device ebenfalls gleich gut ausfallgeschützt sein.

 

[jolu1705]

Prinzipiell ja, aber nicht vergessen das alles auf dem Pool verloren ist wenn dein Special Device ausfällt. Falls die HDDs also im Mirror oder Raidz sind sollte das Special Device ebenfalls gleich gut ausfallgeschützt sein.

Kein Mirror, kein Raidz, alles Single Device Konfiguration.
Ich dachte der SSD Cache schreibt einfach nur mit und wenn die Last kleiner ist, die Daten dann vollständig weg.
Im laufenden Betrieb geht da nichts verloren (USV), außer natürlich die Platte selbst steigt aus.

Oder meinst du dass das Special Device auch Daten enthält und nicht schreibt wenn es das eigentlich könnte?

 

[Dunuin]

Special Device ist keine Cache SSD. Wenn du ein Special Device einsetzt, dann werden auf die HDD nur noch die Daten geschrieben und die Metadaten nur noch auf die SSD. Ohne Special Device landen alle Daten+Metadaten auf der HDD. Eine SSD wäre halt 100x besser was viele kleine Zugriffe angeht und wenn die Metadaten auf der SSD liegen, dann können Dateioperationen wie ls sehr schnell ausgeführt werden, da dafür dann nur die Metadaten von der schnellen SSD abgerufen werden müssen. Das eigentliche lesen/schreiben der Daten bleibt natürlich langsam, da die Daten weiterhin auf der lahmen HDD liegen. Aber PBS profitiert wohl sehr von schnellen Metadaten, da es so viel schneller die Metadaten zwischen PBS und PVE abgleichen kann. Sagen wir deine VM hat 100GB und nur 1GB haben sich seit dem letzten inkrementellen Backup geändert. Dann muss ja nur 1GB wirklich vom PVE zum PBS geschickt werden, es müssen aber vorher die kompletten 100GB auf PBS und PVE abgeglichen werden um zu gucken, was sich überhaupt geändert hat. Und das abgleichen geht dann wohl schneller mit den Matadaten auf der SSD.

Aber pass auf, hat man erst einmal ein Special Device zu einem Pool hinzugefügt, dann kann man es nie mehr entfernen.

Nicht vergessen das du mit "Single Device" keinen Schutz vor schleichenden Dateiverfall hast. ZFS kann dir dann zwar beim Scrub sagen, dass da Daten kaputt sind, es kann ohne einen Mirror/Raidz aber nichts reparieren und die Daten bleiben verloren.

 

[crmspezi]

Special Device ist keine Cache SSD. Wenn du ein Special Device einsetzt, dann werden auf die HDD nur noch die Daten geschrieben und die Metadaten nur noch auf die SSD. Ohne Special Device landen alle Daten+Metadaten auf der HDD. Eine SSD wäre halt 100x besser was viele kleine Zugriffe angeht und wenn die Metadaten auf der SSD liegen, dann können Dateioperationen wie ls sehr schnell ausgeführt werden, da dafür dann nur die Metadaten von der schnellen SSD abgerufen werden müssen. Das eigentliche lesen/schreiben der Daten bleibt natürlich langsam, da die Daten weiterhin auf der lahmen HDD liegen. Aber PBS profitiert wohl sehr von schnellen Metadaten, da es so viel schneller die Metadaten zwischen PBS und PVE abgleichen kann. Sagen wir deine VM hat 100GB und nur 1GB haben sich seit dem letzten inkrementellen Backup geändert. Dann muss ja nur 1GB wirklich vom PVE zum PBS geschickt werden, es müssen aber vorher die kompletten 100GB auf PBS und PVE abgeglichen werden um zu gucken, was sich überhaupt geändert hat. Und das abgleichen geht dann wohl schneller mit den Matadaten auf der SSD.

Aber pass auf, hat man erst einmal ein Special Device zu einem Pool hinzugefügt, dann kann man es nie mehr entfernen.

Nicht vergessen das du mit "Single Device" keinen Schutz vor schleichenden Dateiverfall hast. ZFS kann dir dann zwar beim Scrub sagen, dass da Daten kaputt sind, es kann ohne einen Mirror/Raidz aber nichts reparieren und die Daten bleiben verloren.

Gut erklärt!