Storage auf externes Medium auslagern

MarkusH · Oct 16, 2022

Hallo zusammen,

ich würde gern die Sicherungen vom pbs auf ein externes Medium auslagern. Ich stell mir vor, 12 HDDs zu nehmen und halt 1x im Monat den Storage auf dieses externe Medium auszulagern. Einfach als zusätzlichen Schutz bei Ransomware Angriffen, mit der Hoffnung dann weit genug zurück gehen zu können und eine Version ohne Schadsoftware zu haben.
Es gibt ja diverse Wechselrahmen Lösungen mit Einschubrahmen für HDDs. Also von Hardwareseite wäre es weniger ein Problem. Aber wie könnte man das Auslagern gestalten, kann man das mittels Copy-Job erreichen? Muss ja nicht besonders komfortabel sein und die Images der einzelnen VMs reichen ja aus.
Oder sollte man gleich auf die integrierte Tape-Backup Lösung schwenken?

Gruß

dcsapak · Oct 17, 2022

Hi,

MarkusH said:
Oder sollte man gleich auf die integrierte Tape-Backup Lösung schwenken?

ist halt am anfang mehr aufwand und vorallem kosten, zumindest wenn man sich einen changer zulegt. damit gehts dann aber nachher besser automatisch (weil der ja die tapes selbst wechseln kann)
(abgesehen von anderen vorteilen wie transportierbarkeit/lebensdauer/kosten von tapes)

aber ein wechselrahmen + script dass die datastores unmounted + disabled in der config + syncjob ist wahrscheinlich auch nicht so schlecht, es ist halt mehr manuelle arbeit (script schreiben etc.)

eine weitere alternative ist woanders einen zweiten pbs hinzustellen der vom ersten pullt

MarkusH · Oct 17, 2022

Danke für deine Ausführungen
Da der Wunsch da ist, externe Medien zu benutzen, werde ich mich damit beschäftigen. Also script schreiben welches den Inhalt der stores auf das ext. Medium kopiert.

wusa · Jan 2, 2023

Ich greife das Thema auch nochmal auf.

Ich würde auch gerne, per USB Festplatten die Sicherungen zyklisch "auslagern".
Nur um auf Nummer Sicher zu gehen, dass auch wirklich die Stände zb. Monatlich gesichert sind.
Ist das nur mit dem o.g. Aufwand möglich?
Oder würde das mit Tape Backup funktionieren?

Ich bin jeden Tag vor Ort bei den Servern. Also ein Umstecken der Festplatten ist absolut kein Problem.

Ich möchte einfach im Falle des Falles abgesichert sein. Sollte Schadsoftware rein kommen, oder der PBS ausfallen oder sonst irgendetwas sein, dass ich per USB Platte auf meine VM zurück kann.

Danke

MarkusH · Jan 2, 2023

Hi,

ja ich hab das Thema auch noch nicht wirklich angegriffen, ist aber immer noch aktuell! Es gibt gute und einfache Wechsellaufwerk die man z.B. mit günstigen 2,5" HDDs bestücken kann. Damit könnte man ein komfortables System aufbauen mit einfacher Handhabung.
Von der Funktion her würde man dann das gleiche benötigen wie der USB-Automounter! Oder man nutzt gleich den und klemmt halt USB Laufwerk an. Ist halt etwas zäh bis man da größere Datenmengen drauf schaufelt.

wusa · Jan 3, 2023

Wir nutzen zb. Tandberg RDX.
Das ist ein USB Laufwerk mit Wechsler Funktion. Darin steckt aber auch nur eine 2.5" HDD.
Das wird bei uns momentan über normale Server jeden Tag ausgeworfen und wir gehen zum Server und es kommt jeden Tag ein neues rein.

Wenn man das so irgendwie lösen könnte, dann wäre mir Persönlich sehr geholfen.

bluesite · Jan 12, 2023

ich pull die Backups von meinem Haupt PBS auf einen zweiten PBS der vorher per WOL hochgefahren wird
da auf dem zweiten PBS es so eingestellt ist das keine Backups gelöscht werden kann ich da viel weiter zurück gehen.
Durch Deduplikation brauchen die Backups ja nur unwesentlich mehr Speicherplatz.
Das läuft alles voll automatisch einmal die Woche Nachts.

Der erste Screenshot ist mein Haupt PBS

und das hier ist der Backup PBS

MarkusH · Jan 12, 2023

Interessant! Geht das mit Boardmitteln oder hast dazu Skripte im Einsatz?

bluesite · Jan 13, 2023

ich hab nen kleines Script dafür aber ist nicht wirklich kompliziert kann ich Dir geben

MarkusH · Jan 13, 2023

Ja das wäre sehr nett von dir, dann hätte ich mal einen Einstieg in die Thematik.

bluesite · Jan 13, 2023

hier mal die Scripte, Mac und IP muss natürlich angepasst werden

das Script startet den Sync von deinem PVE aus, startet den zweiten Backup Server per WOL und führt dann das sync1 Script auf dem Server aus

das Script heißt bei mir sync_pbs2


#!/bin/bash
etherwake x:x:x:x:x:x -i vmbr0
TARGET=192.168.x.x

while true;
  do
    DATE=$(date '+%d/%m/%Y %H:%M:%S')
    ping -c 1 $TARGET &> /dev/null
    if [[ $? -ne 0 ]]; then
      echo "ERROR "$DATE
    else
      echo "OK "$DATE
      sleep 25
      break
    fi
      sleep 25
  done

echo "pbs2 sync backups started"
ssh root@192.168.x.x "/usr/local/bin/sync1"
echo "pbs2 sync backups finished"
ssh root@192.168.x.x "poweroff"
echo "pbs2 shutting down"
exit

dann das sync1 script das dann ausgeführt wird
hier halt den Datatstore anpassen, als user habe ich nen Token erstellt der die Berechtigungen hat zum syncen
ERSTERPBSSERVER ist dein PBS von dem die Daten geholt werden auf den zweiten PBS

jq muss noch nachinstalliert werden per apt-get sonst geht das Script nicht

sync1


#!/bin/bash
HASH="$(openssl x509 -in /etc/proxmox-backup/proxy.pem -noout -fingerprint -sha256 | cut -d'=' -f2)"
PBS_FINGERPRINT=${HASH}
export PBS_FINGERPRINT

export PBS_PASSWORD='xxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxxx'
export PBS_USER_STRING='root@pam!pbs2'
export PBS_SERVER='pbs2.xxx'
export PBS_DATASTORE='Images'
export PBS_REPOSITORY="${PBS_USER_STRING}@${PBS_SERVER}:${PBS_DATASTORE}"
export PBS_HOSTNAME="$(hostname -s)"

list_json=$(proxmox-backup-client list --output-format json-pretty)
echo "$list_json" | jq -r '.[]|."backup-type" + "/" + ."backup-id"' | while read group; do
    proxmox-backup-client change-owner "${group}" 'root@pam'
done
echo "syninc backups"
proxmox-backup-manager [B]ERSTERPBSSERVER[/B] pbs ${PBS_DATASTORE}

list_json=$(proxmox-backup-client list --output-format json-pretty)
echo "$list_json" | jq -r '.[]|."backup-type" + "/" + ."backup-id"' | while read group; do
    proxmox-backup-client change-owner "${group}" 'root@pam!pbs2'
done

list_json=$(proxmox-backup-client list --output-format json-pretty)
echo "$list_json" | jq -r '.[]|."backup-type" + "/" + ."backup-id"' | while read group; do
    proxmox-backup-client prune "${group}"  --keep-last 50
done
echo "verify images"
proxmox-backup-manager verify ${PBS_DATASTORE}
echo "garbage-collection started"
proxmox-backup-manager garbage-collection start ${PBS_DATASTORE}

Netzblicker · Jan 18, 2023

Sehr interessant, wir nehmen gerade ein Cluster mit 3 Dell-Servern und 1 Dell-Server als Backup-Server in Betrieb. Vorher wurde im bestehenden System (2 klassische Bigtower - DomainController und Terminalserver) per Acronis in der Nacht das Backup auf jeweils eine USB-Platte geschrieben, diese dann immer montags mitgenommen und zuhause gelagert - also 2 x 2 USB-Platte jeweils im Wechsel Office / Home.
Das erfordert halt immer Mitdenken und Mitnehmen. Sollte ich vielleicht nen Dell-Server (oder ähnliches) woanders (in nem Housing z.B.) installieren und es so wie @bluesite machen? Gibts da ne Anleitung?
Oder bessere Ideen? Externe Sicherung ist immer besser und auch wichtig.

bluesite · Jan 18, 2023

wenn der andere pbs bei nem Hoster ist sollte es auch kein Problem sein einfach ne VPN Verbindung einrichten und dann zwischen den Servern syncen

Search

Search

Storage auf externes Medium auslagern

MarkusH

Renowned Member

dcsapak

Proxmox Staff Member

MarkusH

Renowned Member

wusa

New Member

MarkusH

Renowned Member

wusa

New Member

bluesite

Renowned Member

MarkusH

Renowned Member

bluesite

Renowned Member

MarkusH

Renowned Member

bluesite

Renowned Member

Netzblicker

Member

bluesite

Renowned Member