PBS Backup Traffic bei Ceph/PBS auf einer PVE node

[ArtisticB]

Kurze Theoriefrage:
Wenn ich einen PBS Virtuell oder nachinstalliert auf einer Proxmox Ceph Node mit eigenem ZFS für PBS betreibe, kommen dann die Daten nur von dieser Node?

Also nach der Replizierung oder würden diese zwangsläufig von der jeweiligen PVE Node gepusht auf der der Server gerade liegt zum PBS, wenn das Backup startet?

Ich frage da dies durchaus Sinn ergeben kann in einem KMU-Umfeld, da sowohl die Datensicherheit von Ceph gegeben wäre und man Kostentechnisch die Hardware für 3 Zwecke auf 1 Node bekommt sowie zusätzlich, wenn PBS einfach das Replikat auf der Node ziehen würde, keine Leistung/Bandbreite auf den anderen Nodes für das Backup verbraucht wird was die Mehrkosten des Einsatzes von Ceph in diesem Fall relativieren könnte.

Vorteile:
Kein QDevice nötig wie bei Ceph 4 Node Betrieb (2 Datacenter/ trotzdem 3 Brandabschnitte nötig!)
Ceph Minimalanforderungen von 3Replikaten kann sauber erfüllt werden.
3 Node benötigt Weniger CPU/RAM Ressourcen da nur für Ceph/Backup/Quorum, könnte aber im absoluten Notfall (mit Downtime) um funktionierenden RAM aus der defekten Node erweitert werden (#RAM/AI-Krise)
?Backup-Traffic für den ersten PBS Virtuell auf einer Maschine somit Unlimitiert und verursacht keine Zusatzlast für andere Nodes und das Netzwerk?
?Backup-Traffic (Pull auf Abgesicherten 2ten PBS) mit Direktverkabelung möglich (geringere Komplexität / nur Firewall auf 2tem PBS nötig)?

Nachteile:
Wegfall des Backupservers bei Ausfall von Node 3 was im 2 Node Betrieb mit ZFS und Ausfall des PBS dasselbe Problem bereiten würde.
!Möglichkeit Backup 1 bei Zugriff auf das PVE Management durch Zerstörung des ZFS-Pools zu vernichten (sollte natürlich über 2ten PBS mit Backup Pull und sauberer Trennung verhindert werden)!

 

[fba]

Kurze Theoriefrage:
Wenn ich einen PBS Virtuell oder nachinstalliert auf einer Proxmox Ceph Node mit eigenem ZFS für PBS betreibe, kommen dann die Daten nur von dieser Node?

Jede PG hat eine Primary OSD, welche für diese PG das Lesen bearbeitet und die Schreibvorgänge koordiniert. Also nein, die Daten kommen per Default nicht von lokalen Replica. Das ließe sich aber ändern.

Also nach der Replizierung oder würden diese zwangsläufig von der jeweiligen PVE Node gepusht auf der der Server gerade liegt zum PBS, wenn das Backup startet?

Das kommt drauf an, welche OSD die jeweils primäre ist. Eine VM-Disk liegt nicht nur in einer einzelnen PG sondern verteilt auf viele

Vorteile:
Kein QDevice nötig wie bei Ceph 4 Node Betrieb (2 Datacenter/ trotzdem 3 Brandabschnitte nötig!)

Was hat das QDevice mit einem 3-Node-Cluster am Hut?

 

[ArtisticB]

Vielen Dank für die schnelle Antwort!

Jede PG hat eine Primary OSD, welche für diese PG das Lesen bearbeitet und die Schreibvorgänge koordiniert. Also nein, die Daten kommen per Default nicht von lokalen Replica. Das ließe sich aber ändern.

Das bedeutet dann aber das jeder Ceph Lese-/Schreibvorgang initial auf der Node mit PBS laufen würde/müsste wenn ich das richtig verstehe?

Ob dies in der Performance nicht einen Negativeffekt hat, wenn nur noch eine Node für die Verwaltung der Lese-/Schreibvorgänge verantwortlich ist und diese nichtmehr auf alle Nodes verteilt sind?

Beziehungsweiße könnte dies dann bei Wegfall dieser Node Performanceprobleme geben, da dann bei allen PG's gleichzeitig der Primary wegfällt?

Das kommt drauf an, welche OSD die jeweils primäre ist. Eine VM-Disk liegt nicht nur in einer einzelnen PG sondern verteilt auf viele

Ich verstehe schon, also VM X läuft auf Node 1 hat jedoch auch Teile ihrer VM-Disk in PG's deren Primary auch auf OSD's der anderen Nodes liegen kann.
Somit wird die Last der Verwaltung von Lese-/Schreibvorgängen im normalfall auch über alle Ceph Nodes verteilt.

Was hat das QDevice mit einem 3-Node-Cluster am Hut?

Unglücklich getroffen das stimmt ich beziehe mich hier auf den Vergleich zu Möglichkeit 2 (2 Nodes pro DataCenter +PBS mit QDevice) und weiße auf die Trotzdem nötigen 3 Brandabschnitte bzw. Hosting/Housing hin.
Im Falle des Ausfalles von 2 Strecken muss der PBS mit QDevice bzw. Node3 dann so oder so verlegt werden um sicheren Notbetrieb zu ermöglichen.
Außerdem bräuchte ich dann 5 Server (4Nodes und 1mal PBS mit QDevice) vs 3 Server (1 u. 2 Aktiv und 3 Passiv mit PBS)

 

[fba]

Das bedeutet dann aber das jeder Ceph Lese-/Schreibvorgang initial auf der Node mit PBS laufen würde/müsste wenn ich das richtig verstehe?

Die Bevorzugung einer lokalen Replica betrifft nur Lesevorgänge. Für's Schreiben bleibt die Primary OSD der PG verantwortlich

 

[ArtisticB]

Die Bevorzugung einer lokalen Replica betrifft nur Lesevorgänge. Für's Schreiben bleibt die Primary OSD der PG verantwortlich

Vielen Dank für die Klarstellung damit ist mir sehr geholfen!

Das bedeutet das dies bei Anpassung wie gedacht durchaus seine Vorteile haben kann wenn Sizing und die besagten Sicherheitsaspekte kein Problem darstellen.

Hoffe das war eine für andere auch hilfreiche erste Frage hier im Forum und bedanke mich herzlich für die Hilfe.