PBS SWAP auf zweite SSD

[achim22]

Hallo,
ich baue gerade ein PBS auf. Hierzu habe ich ein Terramaster F4 mit zwei SSD von jeweils 1TB verbaut und 4 HDDs.
Auf der einen SSD kommt PBS und die zweite möchte ich nur für das Swap nutzen.
Die 4 HDDs laufen unter Raid1

Muss ich das bei der Installation auswählen, das das SWAP auf die zweite SSD geht oder nach der Installation ?

VG

 

[sterzy]

Hallo!

Auf der einen SSD kommt PBS und die zweite möchte ich nur für das Swap nutzen.

Wieso möchtest du denn das so einrichten? Also welche Erwartungen hast du den an so ein Setup und bist du dich sicher, dass das der beste Weg ist das zu erzielen?

 

[achim22]

sicher bin ich mir nicht, wurde so empfohlen. Es sollte die Geschwindigkeit verbessert werden. Also macht es kein Sinn?

 

[sterzy]

sicher bin ich mir nicht, wurde so empfohlen. Es sollte die Geschwindigkeit verbessert werden. Also macht es kein Sinn?

Grundsätzlich haben wir mit Swap nicht die besten Erfahrungen gemacht. Was für ein Filesystem wird denn verwendet? Bzw. wie sieht es mit RAID aus? Wie viel RAM hast du denn zur Verfügung?

 

[Ernst T.]

Es sollte die Geschwindigkeit verbessert werden.

Die Geschwindigkeit hängt vom Speichermedium ab, auf dem der Datastore für PBS liegt.

Mit HDDs ist die Geschwindigkeit grundsätzlich nicht "super" ...

 

[Dunuin]

Grundsetzliche Empfehlung:
- SSDs für den Datastore nutzen statt HDDs
- Wenn SSDs zu teuer, dann so lange auf den Boss/Klient einreden und ihn überzeugen, dass das Geld für SSDs sinnvoll wäre
- wenn immer noch nicht gewillt SSD zu kaufen, dann HDDs + SSDs mit ZFS nutzen mit SSDs als Special Devices, damit alle Metadaten auf den schnellen SSDs liegen
- nur HDDs für Daten+Metadaten würde ich nicht einmal für größere Homelabs empfehlen, erst recht nicht im produktiven komerziellen Einsatz

 

[anderl1969]

Ich finde die SSD als root Device von der Größe her schon komplett überzogen!
PBS belegt auf der root-Partition < 2GB. Da liegen im Anschluss 0.99 TB brach.

Ich hätte Dir die 2 kleinsten NVMe-SSDs empfohlen, die du kaufen kannst. Und diese als ZFS-Mirror bei der PBS-Installation eingerichtet. Und dann noch 8GB RAM und gut ist.

Ich hab erst am WE eine Terramaster F2-223 so als PBS eingerichtet:
2x 250GB NVMe-SSDs als ZFS-Mirror als "root"
2x 2TB HDD als ZFS-Mirror Data-Pool
2x 4GB RAM

Für mein Homelab absolut zufriedenstellend

 

[achim22]

Danke für die Infos.
Mein System sieht wie folgt aus:

TERRAMASTER F4-223 4Bay NAS-Speicher mit N4505 Dual-Core-CPU, 4 GB DDR4-Speicher und 2 2,5-GbE-Ports.

4 x Seagate IronWolf, 12 TB HDD, 3.5 Zoll, 7200 U/Min, CMR, 256 MB Cache, SATA 6 GB
2 x SSD Crucial P3 Plus 1TB M.2 PCIe Gen3 NVMe

Auf den SSDs kommt PBS. Wenn SWAP kein Sinn macht würde ich die mit dem Verbund Raid1 nutzen.
Die SSDs sind zwar Consumer Versionen, sollten aber dafür vollkommen reichen.
Sicherlich ist es mit Kanonen auf Spaßen schießen aber der Preis passte.

Die HDDs bekommen den Verbund RAID 1.

 

[Dunuin]

Danke für die Infos.
Mein System sieht wie folgt aus:

TERRAMASTER F4-223 4Bay NAS-Speicher mit N4505 Dual-Core-CPU, 4 GB DDR4-Speicher und 2 2,5-GbE-Ports.

4 x Seagate IronWolf, 12 TB HDD, 3.5 Zoll, 7200 U/Min, CMR, 256 MB Cache, SATA 6 GB
2 x SSD Crucial P3 Plus 1TB M.2 PCIe Gen3 NVMe

Auf den SSDs kommt PBS. Wenn SWAP kein Sinn macht würde ich die mit dem Verbund Raid1 nutzen.
Die SSDs sind zwar Consumer Versionen, sollten aber dafür vollkommen reichen.
Sicherlich ist es mit Kanonen auf Spaßen schießen aber der Preis passte.

Die HDDs bekommen den Verbund RAID 1.

Heißt dann aber du willst 24TB an Backups auf den HDDs speichern. PBS zerhackt dir alles in ca nur 1-2MB große Dateien (max 4MB) und wegen Deduplizierung sind die IO eher zufällig als sequentiell. Heißt also du hast da so grob 12-24 Millionen Chunk-Dateien. Ein GC Job muss dann z.B. auch jede dieser Millionen von Chunk-Dateien einmal lesen und schreiben. HDDs im Raid10 sollten so grob 200 IOPS schaffen. Da kannst du dir ja ausmalen, wie langsam das wird, wenn du mit 200 IOPS versuchst 24 Millionen Dateien zu lesen+schreiben. Sowas kann dann Tage dauern, wo dein PBS zu nichts zu gebrauchen ist, weil so ein GC dann z.B. 2 Tage läuft und während dessen dann die HDDs pauselos mit 100% Auslastung am Limit ackern.

 

[achim22]

Das hört sich n

Ich finde die SSD als root Device von der Größe her schon komplett überzogen!
PBS belegt auf der root-Partition < 2GB. Da liegen im Anschluss 0.99 TB brach.

Ich hätte Dir die 2 kleinsten NVMe-SSDs empfohlen, die du kaufen kannst. Und diese als ZFS-Mirror bei der PBS-Installation eingerichtet. Und dann noch 8GB RAM und gut ist.

Ich hab erst am WE eine Terramaster F2-223 so als PBS eingerichtet:
2x 250GB NVMe-SSDs als ZFS-Mirror als "root"
2x 2TB HDD als ZFS-Mirror Data-Pool
2x 4GB RAM

Für mein Homelab absolut zufriedenstellend

Heißt dann aber du willst 24TB an Backups auf den HDDs speichern. PBS zerhackt dir alles in ca nur 1-2MB große Dateien (max 4MB) und wegen Deduplizierung sind die IO eher zufällig als sequentiell. Heißt also du hast da so grob 12-24 Millionen Chunk-Dateien. Ein GC Job muss dann z.B. auch jede dieser Millionen von Chunk-Dateien einmal lesen und schreiben. HDDs im Raid10 sollten so grob 200 IOPS schaffen. Da kannst du dir ja ausmalen, wie langsam das wird, wenn du mit 200 IOPS versuchst 24 Millionen Dateien zu lesen+schreiben. Sowas kann dann Tage dauern, wo dein PBS zu nichts zu gebrauchen ist, weil so ein GC dann z.B. 2 Tage läuft und während dessen dann die HDDs pauselos mit 100% Auslastung am Limit ackern.

Das hört sich nicht gut an. Die VM die gesichert wird hat nur 2TB . Wäre das trotzdem so langsam ? Bzw was würdest du empfehlen?

 

[anderl1969]

Bei mir dauert die GC aktuell gute 10min. Mein HDD-Mirror ist aber auch erst mit etwa 150 GB belegt. Wenn das in etwa linear skaliert, dann wäre ich bei einer GC-Dauer von 100min (@1.5 TB) - 120min (wenn die HDD langsam voll werden). Von mir aus 3h, wenn ich mich noch nen Puffer dazu rechne.

Das die GC nur 1x pro Woche bei mir läuft, wäre das für mein Homelab noch tolerierbar - mal sehen, ob es mich nervt, wenn es so weit ist.

Bei Deinen 24TB sieht das schon anders aus - da komm ich mit meiner Milchmädchenrechnung dann auf ähnliche Werte wie Dunuin: Da bist du dann bei 1-2 Tagen...

 

[anderl1969]

Mal was anderes: was ist das für eine VM mit 2TB?

 

[Dunuin]

Bei mir dauert die GC aktuell gute 10min. Mein HDD-Mirror ist aber auch erst mit etwa 150 GB belegt. Wenn das in etwa linear skaliert, dann wäre ich bei einer GC-Dauer von 100min (@1.5 TB) - 120min (wenn die HDD langsam voll werden). Von mir aus 3h, wenn ich mich noch nen Puffer dazu rechne.

Das die GC nur 1x pro Woche bei mir läuft, wäre das für mein Homelab noch tolerierbar - mal sehen, ob es mich nervt, wenn es so weit ist.

Bei Deinen 24TB sieht das schon anders aus - da komm ich mit meiner Milchmädchenrechnung dann auf ähnliche Werte wie Dunuin: Da bist du dann bei 1-2 Tagen...

Ich hab hatte hier bei einem 1.15 TB Datastore (raidz1, HDD-only, über NFS) teils bis zu 12 Stunden für einen GC gebraucht, wenn da parallel noch ein Verify-Task und/oder Scrub liefen. Und ja, das skaliert linear. Hast du das 24-fache an Backups braucht die GC oder ein Full-Re-Verfiy auch ca 24 mal so lange.
Für kleine Homelabs mag sowas gehen, aber spätestens wenn die Maintainance-Tasks nicht mehr über Nacht fertig werden sollte,sollte man sich überlegen, ob man nicht doch SSDs will.

Das hört sich nicht gut an. Die VM die gesichert wird hat nur 2TB . Wäre das trotzdem so langsam ? Bzw was würdest du empfehlen?

Ist völlig egal wie groß die VM ist. Es geht nur darum wieviel Kapazität in deinem Datastore belegt ist. Die 2TB VM ergibt dann halt ca 1-2 Mio Chunk-Dateien bzw mehr, wenn du mehrere Backup-Snapshots der VM haben willst, da die Differenzen zwischen den Backup Snapshots ja dann noch hinzu kommen.
Wenn du nur 2-3 TB von den 24 TB benutzt, dann sind GC und Co natürlich recht schnell fertig. Aber du wirst ja nicht 48TB an HDDs gekauft haben, um dann nur 2 TB davon zu nutzen. Weil dann wärst du mit 3x 4TB Enteprise SSDs oder fürs gleiche Geld besser bedient gewesen

 

[anderl1969]

Für kleine Homelabs mag sowas gehen, aber spätestens wenn die Maintainance-Tasks nicht mehr über Nacht fertig werden sollte,sollte man sich überlegen, ob man nicht doch SSDs will.

Da widerspreche ich nicht. Ich sammel jetzt mal Erfahrungen mit den 2x 2TB HDD, die ich eh noch im Bestand hatte. Wenn die GC anfängt zeitlich auszuufern, dann sind die auch ganz schnell durch SSDs ersetzt. Bis dahin weiß ich dann auch hoffentlich, ob 2TB richtig dimensioniert sind