Hallo zusammen,
Ich stelle grade Hardware Anforderungen zusammen für ein Projekt im Herbst diesen Jahres, dazu gehören 3 Server für PBS. 2 On- und 1 Offsite.
Die beiden Onsite Instanzen sollen sich gegenseitig ersetzen können im Falle eines Ausfalls, d.h. PBS-2 synchronisiert sich die Backups von PBS-1.
PBS-3 sitzt bei mir im Büro (im Serverraum natürlich) und repliziert übers WAN (durch VPN Tunnel) vom PBS-1, sollte dieser ausfallen, vom PBS-2.
Die PBS sollen 6-8 Nodes bedienen, d.h. 6-8 parallele Backups sollten kein Problem darstellen, ggfs. noch ein Restore parallel.
Ideal wäre es, wenn ich 500-1000 MiB/s als Backup/Restore Geschwindigkeit erreiche, um einigermaßen zügig auch größere Backups bzw. viel wichtiger Restores durchführen zu können.
Soweit der Plan.
Zur Dimensionierung der Hardware finden sich in der Dokumentation und auch hier im Forum ein paar Hinweise, allerdings hätte ich da ein paar Detailfragen, die ich gerne mit euch diskutieren möchte!
Ich habe mich ein wenig am Benchmark Thread orientiert und ein paar Weisheiten bzgl. ZFS berücksichtigt in meiner bisherigen Kalkulation.
Und das nächste Keyword. Auf Empfehlung der PBS Docs und durch persönliche Sympathie für ZFS, soll ein ZFS Array den Backup Speicher bereitstellen.
Prozessor
Da zu diesem Prozessor wohl auch interne Tests bei Proxmox gemacht wurden und auch Zahlen im Benchmark Thread veröffentlicht wurden, kam mir der AMD Epyc 7302P in den Sinn.
Mit seinen 3 GHz Basistakt ist eine potente Grundlage gegeben und trotzdem stehen 32 Threads zur Verfügung. Anderswo im Forum wurde auch erklärt, dass PBS bis zu einem gewissen Grad gut profitiert von mehr Threads.
Aus eigener Erfahrung weiß ich, dass ZFS auch Verwendung dafür hat.
Dennoch erscheint es ein wenig overkill, rein augenscheinlich. Was meint ihr dazu?
Es gäbe ja noch den Epyc 7232P mit "nur" 16 Threads und leicht höherem Basistakt von 3,1 GHz.
Speicher
Gedacht sind 12 8TB SATA HDDs, aufgeteilt in 2 RAID-Z2 vdevs. Also ein RAID-60, wenn man so will.
Als HDDs wären WD Ultrastar DC HC320 im Gespräch.
Folgende Formel verwende ich um meinen voraussichtlichen Speicher zu berechnen: 8*(1000^4)/(1024^4)*8*0.8 = ~46.5TB
Aufgedröselt:
- 8TB erstmal umrechnen in TiB, da die lieben Hersteller ja die Zahlen mit 1000 statt 1024 rechnen.
- Bei 2 RAID-Z2 vdevs verliere ich 4 HDDs für die Paritäten, der Speicher pro Platte wird also mit 8 Platten multipliziert.
- Gängige Empfehlung für ZFS Arrays ist eine *maximale* Befüllung von ca. 80%, also rechne ich diesen "Sicherheitsabstand" vorweg runter
Dort ist natürlich sonst kein weiterer Overhead eingerechnet, allerdings wird sich die Differenz wohl im Rahmen halten (?) - wenn ich bei 40-45TB netto ankomme, bin ich glücklich und zufrieden.
Ich kriege immer wieder mit, dass ein special device mirror sich äußerst positiv auf PBS auswirken kann, da gabs ja auch schon interessante Analysen von Tuxis, während der Beta. Und die Diskussion unterteilt sich ja nochmal in "small_blocks ja oder nein".
Wie sind denn eure Praxiserfahrungen so?
Ich hätte da 2 Samsung PM1725b 1,6TB im Auge, mit der Intention auch small_blocks zu aktivieren, sofern das einen entsprechenden Mehrwert bietet.
Die Grenze der small_blocks wäre auch interessant, da scheint sich die Menge mit 4K recht einig zu sein, was ich so beobachtet habe bislang.
Am Rande sei noch bemerkt: Als Boot-Laufwerke würde ich einfach 2 Intel D3-S4610 240GB verbauen und während der Installation einen ZFS Mirror wählen.
Arbeitsspeicher
Laut der Dokumentation sollte man für OS und PBS mindestens 4 GiB RAM einrechnen.
In der ZFS Welt gibt es noch die Empfehlung von 1 GiB per 1 TiB Speicher, das wären dann ca. 90 GiB RAM.
Ich würde also 128 GiB in der Maschine verbauen um alle Anforderungen problemlos abzudecken und sogar noch etwas Spiel zu lassen für den ZFS ARC.
Netzwerk
Geplant wäre die Maschine mit 2x 10G via LACP Bonding für den Backup und Sync Traffic anzuschließen.
Zusätzliche 2x 1G für sonstigen Traffic wie SSH oder den Zugang zur Weboberfläche von PBS.
Backplane & HBA
Ich liebäugel aktuell mit Supermicros 2ET XE1-2ET00-03 als Chassis.
Soweit sind mir keine fürchterlichen Sachen bzgl. der Backplane ins Auge gefallen, 100% sagen kann ich das allerdings nicht.
Hierzu würde ich auch bei meinem Hardware Distributor nochmal konkreter anfragen, vor dem Kauf.
Das voraussichtliche Board, ein Supermicro H11SSL-i (Rev. 2.0), bringt bereits mehr als genug SATA-3 Ports onboard mit.
Nach etwaiger Recherche im Internet erklären die meisten dass die Verwendung von onboard Ports kein Problem ist, performancetechnisch, sofern man ausreichend Ports hat. In meinem Fall wäre demnach ein HBA unnötig.
Könnt ihr mir da zustimmen oder gibt es andere Faktoren die ich hier berücksichtigen sollte?
Die Frage aller Fragen: Wird das oben genannte Setup voraussichtlich den gestellten Erwartungen entsprechen oder sie gar übertreffen?
Oder ist es gar überdimensioniert und es könnte hier oder dort noch bedenkenlos etwas ausgespart werden?
What do you think?
An der Stelle erstmal danke für das Durchhaltevermögen bis hier hin zu lesen.
Ich bin gespannt auf eure Meinungen und Vorschläge!
Alle möglichen Fragen beantworte ich natürlich auch gerne!
Schönen Abend noch!
Ich stelle grade Hardware Anforderungen zusammen für ein Projekt im Herbst diesen Jahres, dazu gehören 3 Server für PBS. 2 On- und 1 Offsite.
Die beiden Onsite Instanzen sollen sich gegenseitig ersetzen können im Falle eines Ausfalls, d.h. PBS-2 synchronisiert sich die Backups von PBS-1.
PBS-3 sitzt bei mir im Büro (im Serverraum natürlich) und repliziert übers WAN (durch VPN Tunnel) vom PBS-1, sollte dieser ausfallen, vom PBS-2.
Die PBS sollen 6-8 Nodes bedienen, d.h. 6-8 parallele Backups sollten kein Problem darstellen, ggfs. noch ein Restore parallel.
Ideal wäre es, wenn ich 500-1000 MiB/s als Backup/Restore Geschwindigkeit erreiche, um einigermaßen zügig auch größere Backups bzw. viel wichtiger Restores durchführen zu können.
Soweit der Plan.
Zur Dimensionierung der Hardware finden sich in der Dokumentation und auch hier im Forum ein paar Hinweise, allerdings hätte ich da ein paar Detailfragen, die ich gerne mit euch diskutieren möchte!
Ich habe mich ein wenig am Benchmark Thread orientiert und ein paar Weisheiten bzgl. ZFS berücksichtigt in meiner bisherigen Kalkulation.
Und das nächste Keyword. Auf Empfehlung der PBS Docs und durch persönliche Sympathie für ZFS, soll ein ZFS Array den Backup Speicher bereitstellen.
Prozessor
Da zu diesem Prozessor wohl auch interne Tests bei Proxmox gemacht wurden und auch Zahlen im Benchmark Thread veröffentlicht wurden, kam mir der AMD Epyc 7302P in den Sinn.
Mit seinen 3 GHz Basistakt ist eine potente Grundlage gegeben und trotzdem stehen 32 Threads zur Verfügung. Anderswo im Forum wurde auch erklärt, dass PBS bis zu einem gewissen Grad gut profitiert von mehr Threads.
Aus eigener Erfahrung weiß ich, dass ZFS auch Verwendung dafür hat.
Dennoch erscheint es ein wenig overkill, rein augenscheinlich. Was meint ihr dazu?
Es gäbe ja noch den Epyc 7232P mit "nur" 16 Threads und leicht höherem Basistakt von 3,1 GHz.
Speicher
Gedacht sind 12 8TB SATA HDDs, aufgeteilt in 2 RAID-Z2 vdevs. Also ein RAID-60, wenn man so will.
Als HDDs wären WD Ultrastar DC HC320 im Gespräch.
Folgende Formel verwende ich um meinen voraussichtlichen Speicher zu berechnen: 8*(1000^4)/(1024^4)*8*0.8 = ~46.5TB
Aufgedröselt:
- 8TB erstmal umrechnen in TiB, da die lieben Hersteller ja die Zahlen mit 1000 statt 1024 rechnen.
- Bei 2 RAID-Z2 vdevs verliere ich 4 HDDs für die Paritäten, der Speicher pro Platte wird also mit 8 Platten multipliziert.
- Gängige Empfehlung für ZFS Arrays ist eine *maximale* Befüllung von ca. 80%, also rechne ich diesen "Sicherheitsabstand" vorweg runter
Dort ist natürlich sonst kein weiterer Overhead eingerechnet, allerdings wird sich die Differenz wohl im Rahmen halten (?) - wenn ich bei 40-45TB netto ankomme, bin ich glücklich und zufrieden.
Ich kriege immer wieder mit, dass ein special device mirror sich äußerst positiv auf PBS auswirken kann, da gabs ja auch schon interessante Analysen von Tuxis, während der Beta. Und die Diskussion unterteilt sich ja nochmal in "small_blocks ja oder nein".
Wie sind denn eure Praxiserfahrungen so?
Ich hätte da 2 Samsung PM1725b 1,6TB im Auge, mit der Intention auch small_blocks zu aktivieren, sofern das einen entsprechenden Mehrwert bietet.
Die Grenze der small_blocks wäre auch interessant, da scheint sich die Menge mit 4K recht einig zu sein, was ich so beobachtet habe bislang.
Am Rande sei noch bemerkt: Als Boot-Laufwerke würde ich einfach 2 Intel D3-S4610 240GB verbauen und während der Installation einen ZFS Mirror wählen.
Arbeitsspeicher
Laut der Dokumentation sollte man für OS und PBS mindestens 4 GiB RAM einrechnen.
In der ZFS Welt gibt es noch die Empfehlung von 1 GiB per 1 TiB Speicher, das wären dann ca. 90 GiB RAM.
Ich würde also 128 GiB in der Maschine verbauen um alle Anforderungen problemlos abzudecken und sogar noch etwas Spiel zu lassen für den ZFS ARC.
Netzwerk
Geplant wäre die Maschine mit 2x 10G via LACP Bonding für den Backup und Sync Traffic anzuschließen.
Zusätzliche 2x 1G für sonstigen Traffic wie SSH oder den Zugang zur Weboberfläche von PBS.
Backplane & HBA
Ich liebäugel aktuell mit Supermicros 2ET XE1-2ET00-03 als Chassis.
Soweit sind mir keine fürchterlichen Sachen bzgl. der Backplane ins Auge gefallen, 100% sagen kann ich das allerdings nicht.
Hierzu würde ich auch bei meinem Hardware Distributor nochmal konkreter anfragen, vor dem Kauf.
Das voraussichtliche Board, ein Supermicro H11SSL-i (Rev. 2.0), bringt bereits mehr als genug SATA-3 Ports onboard mit.
Nach etwaiger Recherche im Internet erklären die meisten dass die Verwendung von onboard Ports kein Problem ist, performancetechnisch, sofern man ausreichend Ports hat. In meinem Fall wäre demnach ein HBA unnötig.
Könnt ihr mir da zustimmen oder gibt es andere Faktoren die ich hier berücksichtigen sollte?
Die Frage aller Fragen: Wird das oben genannte Setup voraussichtlich den gestellten Erwartungen entsprechen oder sie gar übertreffen?
Oder ist es gar überdimensioniert und es könnte hier oder dort noch bedenkenlos etwas ausgespart werden?
What do you think?
An der Stelle erstmal danke für das Durchhaltevermögen bis hier hin zu lesen.
Ich bin gespannt auf eure Meinungen und Vorschläge!
Alle möglichen Fragen beantworte ich natürlich auch gerne!
Schönen Abend noch!
Last edited:
