PBS Config (Storage)

[pakuzaz]

Hallo zusammen,

also mal Butter bei die Fische. Wir haben ein Cluster aus 15 VE Server mit 160 Virtuellen Servern. Diese sichern wir gerade per PBS auf HDDs und Tapes.

Ja die Leistung des Backups (Speed) ist schlecht, ist uns auch bei der Config mit HDDs bewusst.

Aber wer kann sich leisten 400TB in SSDs zu Investieren? Habt ihr eine andere Lösung und wird hier einfach nur Geld verbrannt mit der Backup Methode.


Vielen Danke für eure Antworten schon mal.

 

[UdoB]

400TB in SSD

In der Größenordnung spiele ich nicht mit, mein dementsprechend nicht belegbarer Ansatz wäre: Blech per hinreichend vieler Mirror-Vdevs plus einem Meta-/Special-Device als NVMe-Mirror (eventuell Tripple-Mirror) als integraler Bestandteil eines ZFS Pools.

Just my 2€¢

 

[Dunuin]

In der Größenordnung spiele ich nicht mit, mein dementsprechend nicht belegbarer Ansatz wäre: Blech per hinreichend vieler Mirror-Vdevs plus einem Meta-/Special-Device als NVMe-Mirror (eventuell Tripple-Mirror) als integraler Bestandteil eines ZFS Pools.

Just my 2€¢

Das wäre etwa das, was Tuxis macht, nur in größer: https://www.tuxis.nl/en/proxmox-backup-server-rocks/
Gibt auch einen Thread dazu, wo Tuxis fragen dazu beantwortet hat, falls du mal nachfragen willst, wie das bei denen so Performancemäßg läuft:
https://forum.proxmox.com/threads/update-on-our-pbs-setups.105595/
Aber scheint ja brauchbar zu sein, sonst hätten die sich nicht nach dem Ersten noch zwei weitere Server angeschafft.

Wenn ich mir die Performance vom Tuxis Server 1 angucke (der Erste aufgeführte mit dem Xeon E5-2620), dann ist das aber wohl trotzdem nicht ganz unproblematisch. Hatte da schon beim Verify Task defekte Backup Snapshots und vereinzelt war die Performance katastophal (viele Stunden (glaube gute 20 Stunden, ist aber nicht mehr in der Summary) für ein Verify Task eines Datastores mit 30GB an Daten). Kann aber auch sein, dass da dann einfach nur ein Scrub/Resilver parallel lief.
Jetzt gerade braucht das bei 54GB an Backups Snapshots <0.1 Sek für ein Prune, 7 Sek für ein GC und 14 Min 12 Sek für ein Full Re-Verify. Kannst du dir dann ja auf 400TB hochrechnen.

Wunder sollte man da von der Performance also nicht erwarten.

Läuft der PBS denn bei dir wenigstens bereits als Striped Mirror mit SSDs als Special Device? Raidz1/2/3 ist ja nichts, wenn man IOPS braucht (was PBS tut).

 

[tom]

Aber wer kann sich leisten 400TB in SSDs zu Investieren? Habt ihr eine andere Lösung und wird hier einfach nur Geld verbrannt mit der Backup Methode.

400TB Datacenter SSDs kosten grob 100K EURO und laufen sicher 5 Jahre, also 20K pro Jahr (das sind dann zb. die Samsung PM1733 U2, also ganz was feines)

Im Vergleich zu Lohnkosten eines Admins oder dem Ausfalls einer IT mit 160 Servern find ich das nicht wirklich unbezahlbar.

Und ja, eine gute Kombi mit ZFS special devices kann auch gehen, damit kann man die alten HDDs noch weiter nutzen.
(Mit etwas Suchen findet man sicher eine komerzielle Backuplösung, wo alleine die Lizenz für 400 TB an die 100K kostet ...)

 

[pakuzaz]

@tom das sollte auch nicht negative rüberkommen wir sind soweit eigentlich Glücklich mit der Lösung nur der Speed könnte halt ein wenig besser werden. Da unsere Grafik zb. 30TB in beschlag nimmt.

Wir haben 40TB Intel Enterprise SSD (20*2TB ) Special device

 

[Falk R.]

Hast du echt so viel belegt im PBS?
Dank ZFS und Dedupreichen mir bei 50TB Ceph Cluster, ein 80-100 TB Backupspeicher. Für einen Backupserver mit 100TB Netto kalkuliere ich ca. 20-25k €. Das war bisher noch keinem Kunden zu teuer.

 

[pakuzaz]

@SkyDiver79 ja wir sind ein Internationales Unternehmen das Viele Daten hat.

Wir nutzen kein Ceph Cluster ist uns zu unsicher da wir auch nicht die Erfahrung damit haben.

 

[Falk R.]

Hatte mich schon gewundert, nur 160 VMs bei 15 Hosts. Aber wenn ihr so Datenlastig seid, passt das bestimmt.
Auch wenn Off topic, schaut euch Ceph mal an, ich habe bei meinen Kunden nur Ceph Cluster bei Proxmox. Ein 400TB Server kostet dann schon ca. 70k als Full Flash. Ist aber eine Überlegung wert, ich möchte bei PBS die SSDs nicht mehr missen.