Mehr Power für's Backup?

[bitboy0]

Wenn ich mehrere VMs sichere, würde ich gerne auch zwei Threats gleichzeitig laufen lassen.

Denn ein Threat ist auf ca. 120/MBs übers Netzwerk begrenzt, auch wenn vom Server und den Switch bis zum NAS alles mit mindestens 2*Gigabit nach 802.1AX gebündelt ist ... Aber um die Paketreihenfolge innerhalb einer Verbindung sicher zu stellen kann auch bei dem Setup ein Threat nur eine Leitung für eine aktive Verbindung nutzen ... während auf allen Seiten genug Power vorhanden wäre um auch mindestens das doppelte zu schaffen.

Meine Backups dauern so leicht 6h ...

Kann man Proxmox dazu bringen auch zwei Maschinen gleichzeitig zu sichern, nicht nur eine nach der anderen?

 

[fabian]

nein, derzeit gibts pro node ein globales lock fuer backup jobs. in zeiten von PBS macht es eventuell sinn, hier mehrere jobs parallel zu erlauben (nachdem manche ja sehr schnell fertig sind, andere, initiale backups aber durchaus eine weile brauchen koennen). kannst du einen enhancement request auf https://bugzilla.proxmox.com aufmachen? dann koennen wir dort weiterdiskutieren, was es braucht um so ein feature sinnvoll umzusetzen..

 

[bitboy0]

Mh ... ich nutze jetzt ja noch kein PBS ... sondern mache die Backups von Proxmox auf ein NAS, welches Link-Aggregation kann, so wie der Server und der Switch ...

Also müsste die Änderung an Proxmox erfolgen, nicht an PBS, oder?

 

[fabian]

ja, die einschraenkung ist auf PVE seite.

PBS kann natuerlich von mehreren (vielen) systemen parallel backups empfangen. der hintergrund fuer die einschraenkung ist/war, dass backups nicht den regulaeren betrieb verlangsamen/stoeren sollen - eine einfache heuristik dafuer ist nur einen job pro node zuzulassen (und den optional zu drosseln). damit gibts quasi nur "eine schraube" (bwlimit) mittels derer die ressourcenzuteilung an den backup job bestimmt werden kann.

bei VMA backups ist das normalerweise auch nicht schlimm, da ja alle backups "voll" sind und mit den zu sichernden daten skaliert lange dauern. auch wenns natuerlich systeme (wie vielleicht deins ) geben kann, wo noch luft nach oben ist und parallele backups tatsaechlich mehr durchsatz schaffen. das ist aber bei VMA eher die ausnahme - mehrere parallele backups stehen sich oft im weg (contention am quell- oder ziel-storage oder netzwerk), und nachdem I/O aus den VMs durch backups potenziell verlangsamt wird, schlaegt sich das dann direkt auf VM-performance nieder.

 

[bitboy0]

Nun, Backups laufen zu Zeiten wo alle braven Nutzer schlafen ... und 120MB/s ist halt nicht die Welt für einen richtigen Server mit SAS-Laufwerken und Dual-Socket ... und auch nicht für das NAS...

Da würde schon noch was gehen. Ob es im Einzelfall sinnvoll ist, kann ja jeder dann selbst sehen und entscheiden...

 

[H4R0]

Meine Backups dauern so leicht 6h ...

Dann nutz PBS und nicht vzdump.

PBS sichert inkrementell, dass dauert dann nur paar minuten.

 

[bitboy0]

Mh ... dann brauche ich noch einen weiteren Server...
Es wird ausdrücklich auf dedizierte HW hingewiesen.
Das steht aber leider nicht zur Debatte.

Also die Frage bleibt: Wie kann man schneller als mit 1GBit sichern, wenn man über 802.1ax mehrere Leitungen zur Verfügung hat.
Ich klebe beim Backup ziemlich genau an der 120MB/s Grenze ... also 1GBits
Es geht nicht wenn der backup-Prozess nur EINE Verbindung aufbaut... dann ist 802.1ax auch nicht schneller.
2 Maschinen gleichzeitig sichern wird in vielen Fällen die I/O-Last zu stark erhöhen, speziell wenn Source oder Target keine SSD ist.
Die CPU dürfte oft keine Probleme machen.

Ich kenne die zur Verfügung stehenden Möglichkeiten nicht gut genug ... wie man eine Datei auf ein Target schreiben kann und dabei mehr als eine Verbindung in LACP-Verbund nutzen kann.

 

[Dunuin]

Falls du noch PCIe Slots frei hast...
Für unter 100 Euro bekommst du zwei 10Gbit NICs inkl. DAC um beide NICs direkt zu verbinden. Eine in dein NAS und eine in den Proxmox-Host und du kannst mit 10Gbit deine VZdump Backups sichern, auch wenn nur eine VM zur Zeit gesichert werden kann. Damit sind jetzt nur noch meine CPU und HDDs der Flaschenhals. Und auch sonst ganz praktisch, wenn du Daten vom NAS per Shares in die VMs bringen willst.

 

[bitboy0]

Leider sind zwischen Server und NAS noch zwei 1gbits Glas links über 90m UM2... also keine Chance auf 10gbits... Und das NAS hat keinen SFP+ Port... Auch da keine Chance.

 

[fireon]

Leider sind zwischen Server und NAS noch zwei 1gbits Glas links über 90m UM2... also keine Chance auf 10gbits... Und das NAS hat keinen SFP+ Port... Auch da keine Chance.

Tja, dann wirds wohl oder über nix werden. Dann zurück zur Möglichkeit nummer eins: Server kaufen. Unsere Backupserver lassen wir von Thomas Krenn bauen. Sind Proxmox optimierte Systeme, und ich darf den Hersteller sehr loben.

 

[bitboy0]

Ja, doof...

So wie es aussieht ist 802.1ax nicht Mal in der Lage zu dem was ich gerne möchte ... Hab im Bugtracker das Feedback bekommen, dass - wenn source und target gleich sind (also Server und NAS), wird so oder so nur eine Verbindung benutzt. Falls ich das richtig verstanden hab, würde mir auch kein zweiter Stream etwas nützen ...
Wenn ich das richtig verstanden habe, war meine Annahme einfach falsch.

 

[micneu]

Leider sind zwischen Server und NAS noch zwei 1gbits Glas links über 90m UM2... also keine Chance auf 10gbits... Und das NAS hat keinen SFP+ Port... Auch da keine Chance.

hmm..., kannst du die gbics nicht austauschen gegen welche die auch 10ge können? ist doch heute nicht so teuer. für einen richtigen server mit sas ist doch auch 10gbit/s keine problem (oder die firma die sowas einsetzt). wir haben in der firma hadoop im einsatz und da hatten wir auch das problem das unsere daten zu lange bebraucht haben gesynct zu werden, da haben wir auf 40gbit/s umgestellt

 

[bitboy0]

bei UM2-Fasern sind 80m das Limit ... und in unserem Fall sind die Fasern auch schon alt und messbar degradiert. Also für 1GBit alles noch fein, aber für 10GBits reicht es nicht mehr.
Leider können wir das Kabel nicht tauschen.

Also ist jetzt halt eben so. Besser wird es nicht. Danke aber für jede Hilfe!