Externe HDDs für PBS

[DasMoritz]

Moin,

ich möchte meinen Dell Optiplex 7040 mit einer SSD und einer HDD gerne erweitern, sodass ich idealerweise vier weitere HDDs (oder mehr) anschließen kann.

Aus meinem produktiven System können vier Platten in den PBS wandern, zudem habe ich noch zwei weitere Platten übrig.

Meine Idee war die vier Platten nun in ein externes Gehäuse wie eine Icy Box mit vier Schächten zu stecken und per USB3.0 mit dem Optiplex zu verbinden.

Ist das eine vernünftige Idee oder macht es eher Sinn da einen HBA Controller zu verwenden und das ganze so aufzubauen?

Das produktive System (zwei HDDs gespiegelt) sichert sich primär auf den PBS, sehr wichtige Daten gehen dann noch auf ein 2bay NAS und in die Cloud.

Danke,
Moritz

 

[Dunuin]

USB ist generell nicht so zuverlässig und was ich von diesen Multi-Disk-USB-Cases hier im Forum gehört habe war auch nicht positiv.
Wenn du Platz für einen HBA hast, dann nimmt lieber gleich so einen.

PS: PBS braucht IOPS Performance und es wird für Produktiv-Einsatz dazu geraten außsschließlich SSDs zu verwenden und komplett auf HDDs zu verzichten.
Im Heimgebrauch tun es auch HDDs, aber dann sollte man am besten auch gleich ZFS nehmen und zusätzlich zwei SSDs im Mirror als Special Metadata Devices dem Pool hinzufügen. Ansonsten brauchen da Wartungsjobs wie GC Stunden oder gar Tage, wenn die Metadaten nicht von einer SSD kommen.

 

[DasMoritz]

Moin,

uh, okay, da ist das Dingen ja fast besser ausgestattet als mein produktives System (1x 1TB SSD und 2x 14 TB HDD mit ZFS im Mirror im PVE)

Ist das so wirklich notwendig?
Am Ende habe ich 3-4 VMs und ca. 8TB an Daten heute.

Wie stelle ich das ein mit dem Special Metadata auf der SSD? Oder packt er das automatisch in die PBS-Installation?

Danke,
Moritz

 

[Dunuin]

Moin,

uh, okay, da ist das Dingen ja fast besser ausgestattet als mein produktives System (1x 1TB SSD und 2x 14 TB HDD mit ZFS im Mirror im PVE)

Ist das so wirklich notwendig?
Am Ende habe ich 3-4 VMs und ca. 8TB an Daten heute.

Wie stelle ich das ein mit dem Special Metadata auf der SSD? Oder packt er das automatisch in die PBS-Installation?

Das musst du selbst über die CLI hinzufügen.

Bevor ich meine Special Device SSDs hinzugefügt habe war das hier bei mir grob 2 Stunden pro TB für den GC-Job und 6 Stunden pro TB für den Verify-Job. Bei 8TB an Daten kannst du also grob mit 16 Stunden für einen GC und 48 Stunden für einen vollen Re-Verify-Job rechnen. Und solange GC oder Verify-Jobs laufen ist der PBS dann auch entsprechend ausgebremst mit hohem IO delay. Mit Special Device war der GC dann eher 2 Min statt 2 Stunden pro TB. Und Backup/Restore Jobs waren auch gut 2,5-3x schneller. Wobei bei mir aber die HDDs auch noch über lokales NFS (also virtio NICs zu virtio NIC mit 20 Gbit oder so) gingen. Vermutlich ist das mit lokalen HDDs ohne den NFS overhead noch etwas schneller.

Nicht vergessen dass da PBS alles in kleinen deduplizierten Chunks speichert die max 4MB haben. Im Schnitt bei mir sogar nur 1.7MB. Und auf diese wird eher zufällig als sequentiell zugegriffen. Sagen wir die wären bei dir 2MB, dann wären 8TB an Daten eben 4 Mio Chunk-Dateien dessen Metadaten bei jedem GC gelesen und neu geschrieben werden müssen. Falls du mal massig kleine Dateien zwischen HDDs verschoben hast weißt du ja, wie lahm das wird.

 

[DasMoritz]

Moin,

okay, ich hatte parallel etwas weiter gelesen, danke für deine Beiträge.

Okay, sprich: Für den PBS: Zwei SSDs (welche Größe ist sinnvoll?) im Mirror und die HDDs nach „Gusto“. Ich habe momentan jeweils 2x 2TB, 3TB und 4TB über. Die dann per HBA als JBOD durchreichen und ein großen Pool von machen?

Die Wahrscheinlichkeit, dass der PBS bzw. die Platten beim Restore aussteigen würde ich als gering ansehen und da nicht noch einen Mirror aufbauen, oder?

 

[Dunuin]

Naja, ist die Frage wie wichtig dir die Backups sind. Machst du ein Raid0 aus allen 6 Disks und eine einzelne fällt aus, dann sind alle Daten weg. Ich würde da schon irgendwie Parität haben wollen und ein Striped Mirror (also wie raid1) nehmen. Raidz1/2 (also wie raid5/6) wäre das mindeste, aber generell nicht empfehlenswert weil sich die IOPS-Performance bei einem raidz1/2 nicht mit der Anzahl der Disks erhöht. Und mit gemischten HDD Größen wäre ein Raidz sowieso schlecht, da du dann von den 3 und 4TB HDDs nur 2TB nutzen könntest. SSDs brauchen so grob 0.4% der Gesamtkapazität der HDDs. Also 120GB SSDs sollten da eigentlich reichen für die 6 HDDs.

 

[DasMoritz]

Okay, danke. Den Striped Mirror lege ich dann am besten so an, dass je eine „Seite“ aus 2,3 und 4 TB besteht?

 

[Dunuin]

Ja, immer gleich große Disks in einen Mirror wenn du keine Kapazität verschenken willst.
Befehl würde da z.B. aussehen: zpool create DeinPoolName mirror /dev/disk/by-id/DeineErste2TBDisk /dev/disk/by-id/DeineZweite2TBDisk mirror /dev/disk/by-id/DeineErste3TBDisk /dev/disk/by-id/DeineZweite3TBDisk mirror /dev/disk/by-id/DeineErste4TBDisk /dev/disk/by-id/DeineZweite4TBDisk special mirror /dev/disk/by-id/DeineErsteSSD /dev/disk/by-id/DeineZweiteSSD
Bzw zpool add DerPoolName special mirror /dev/disk/by-id/DeineErsteSSD /dev/disk/by-id/DeineZweiteSSD wenn du den Pool über die PBS WebUI erstellst und dann später Special Device SSDs hinzufügen willst.

 

[DasMoritz]

Perfekt, ich danke Dir.
Bei der Komplexität muss ich noch mal schauen, ob ich meinen PVE denn überhaupt so sauber aufgesetzt habe.
Ist dieses Special Metadata Device auch beim PVE sinnvoll?

Dort habe ich aktuell eine SSD mit 1TB auf der Proxmox installiert ist und dann die beiden 14TB HDD's im ZFS Mirror.

 

[Dunuin]

Gäste würde ich heute eigentlich nicht mehr von HDDs laufen lassen. HDDs halt höchstens als Cold Storage die man zusätzlich als SMB/NFS Share in die Gäste einbindet oder als weitere virtuelle Disk für reine Daten anwendet, wo dann aber keine Betriebssysteme oder Programme drauf laufen.
Und die PVE Systemdisk profitiert eigentlich nicht von der Performance der SSD, hier hätte man also gut HDDs nehmen können, eine SSD schadet aber auch nicht.

Hätte ich 2x 14TB HDDs + 1x 1TB SSD hätte ich mir da noch eine weitere 1TB SSD geholt damit auch die 1TB SSD als ZFS Mirror redundant wäre.
Dann alles Sichern, PVE erneut als ZFS Mirror installieren aber bei der Installation in den erweiterten ZFS Optionen die "hdsize" so einstellen, dass so ca 75GB frei bleiben (also "hdsize=925GB" oder so). Hat den Grund, dass da PVE kein Swap bekommt wenn man ZFS nutzt und wenn man Swap will man etwas Platz auf den Disks lassen sollte. Außerdem kann man etwas Platz auf den SSD freilassen um eine Partition für die HDDs als Special Device nehmen zu können.
PVE sollte dann 3 Partitionen installiert haben (Partition 1+2 fürs Booten und Partition 3 für ZFS wovon dann 1 Dataset als Root-Dateisystem und 1 Dataset als VM/LXC Storage benutzt wird) mit je 75GB frei pro SSD. Danach könnte man per CLI eine 4te Partition von je 5GB auf beiden SSDs anlegen und diese als Swap formatieren und zur fstab hinzufügen. Dann hätte man 10GB an Swap damit PVE etwas Puffer hat und keine Gäste killen muss, wenn der RAM mal knapp wird. Und danach noch je SSD eine 5te Partition von 70GB anlegen. Diese 5te Partitionen könnte man dann als Special Device Mirror für die beiden HDDs nutzen um diese etwas zu beschleunigen.

Außerdem würde ich für beide ZFS Pools dann noch "relatime=on" setzen, dass da nicht jede Leseoperation auch immer eine Schreiboperation verursacht.
Und die Swappiness setze ich in der sysctl.conf immer auf "vm.swappiness=0", dass da Swap wirklich nur dann benutzt wird, wenn sonst OOM einen Prozess killen würde, dass da die SSDs etwas geschont werden und sonst immer rein der schnellere RAM benutzt wird.

 

[DasMoritz]

Moin,

ich muss mal ganz doof fragen: Was nimmt man denn da für einen HBA? Habe wie beschrieben einen Dell Optiplex 7040 mit kleinerem Gehäuse (SFF). Dann brauche ich ergänzend noch ein externes Gehäuse für die HDDs per eSata oder?

Danke,
Moritz

 

[Dunuin]

Beste Kompatibilität bezüglich Treibern und so hat man meistens bei LSI HBAs. Wird sicher auch etwas von Dell geben, was dann oft auch nur LSI HBAs mit anderen Firmware und Branding sind. Gibt die HBA auch sowohl mit internen als auch externen SAS Ports. Und an SAS Ports gehen dann mit entsprechnden Kabeln auch SATA.

Diese kleinen SFF oder Micro Dinger sind halt echt nicht toll wenn man was ordentliches will. Genug Platz, damit man alles Spiegeln kann, sollte man schon beim Hardwarekauf wählen. Externe Laufwerke sind immer nicht so schön was Zuverlässigkeit und Kühlung angeht.

 

[DasMoritz]

Hallo @Dunuin

ich hole den Thread hier noch mal nach oben. Hast du eine Empfehlung für Hardware des PBS? Mein Dell Optiplex 7050SFF hat zu wenige HDD Schächte und mit externen Geräten möchte ich nicht arbeiten. Es werden vier VMs gesichert, eine große mit 10TB und drei kleine mit 30GB…. Alles im privaten Umfeld.

 

[Dunuin]

Dann brauchst du schon Minimum 2x 3,5" Schächte für 2x 20TB HDDs + 2x 2,5" Schächte für 2x 120GB SSDs und 16+GB RAM. Dann ZFS Mirror aus den HDDs für den Datastore sowie als Systemdisks und die SSDs im Mirror als Special Devices damit die GC nicht so ewig dauert (waren hier sonst gute 2 Stunden je TB an Backups...willst du da tägliche GC wäre der PBS quasi 24/7 Dauerausgelastet einfach nur wegen Maintaince Tasks).
Würde ich einfach mal gucken was da so an gebrauchten Tower-Servern auf eBay im Umlauf ist. Ich hatte mir vor 2 Jahren z.B. ein Supermicro X10SSL-F mit Xeon 1230v3 und 16GG ECC RAM für um die 100€ geholt. Ist normaler MicroATX-Standard und passte das Kit in jedes beliebige Gehäuse mit beliebigem Netzteil. Leere Supermicro Tower-Gehäuse mit Netzteil wo dann 4x 2,5" + 4x 3,5" + 1x 5,25" sieht man auch oft für um die 30-40€. Die sind nicht furchtbar laut (leiser als mein GamingPC) und und da hätte man dann einen ganzen Supermicro Server für um die 160€ mit Porto der locker für PBS reichen würde.
Einfach mal nach Tower-Servern mit 16/32GB RAM suchen und gucken was du findest. Das teure sind halt die SSDs und HDDs...so eine WD Ultrastar DC HC560 20TB kostet 387€ und eine Smsung PM893 240GB kostet 82€. Also gute 938€ nochmal obendrauf für die Disks.

 

[DasMoritz]

Moin,

Danke dir. Mein ursprünglicher Gedankengang war wie folgt:

Ein Gehäuse wie ein Silverstone DS380 oder das CS351, dazu ausreichende Hardware und dann meine "übrigen" Platten in die HDD-Schächte. Ich habe mittlerweile 2x 4TB HDD und 4x 3TB HDD über, sodass ich diese eigentlich gerne weiterverwenden möchte.

Aus meiner Sicht muss auch nicht täglich ein Backup der Daten erfolgen, denn: Die für mich wichtigen Daten liegen auf meiner Synology VM (auf Proxmox) und werden dort täglich auf ein zweites kleines Synology HW-NAS gesichert und täglich in die Synology C2 Cloud.

Mir geht es also sicherheitstechnisch eher um den "Sicherheitsgürtel zum Hosenträger und der gut sitzenden Hose", sodass ich beim Ausfall meines produktiven Systems zumindest die technische Umgebung "zügig" wiederherstellen kann. Was ist das kritischte auf dem Proxmox System: Eigentlich die Auswertung meiner PV-Anlage und die Ladesteuerung unseres E-Autos, für beides gibt es aber Workarounds.

Würdest du das unter den Rahmenbedingungen dennoch so machen, wie du es beschrieben hast?

Dann wäre fast die Überlegung, den heutigen Proxmox VE Host (HP Microserver Gen 8) als Backup-Server (PBS) zu "degradieren" und ein neues PVE System aufzubauen mit deutlich mehr RAM als heute 16GB.

Danke,
Moritz

 

[Dunuin]

Wenn du noch so viele alte Platten hast, dann kannst du die natürlich auch weiternutzen. Mit dem Microserver wird es dann aber wieder schwer weil da nur 4 Disks reinpassen und deine Disks alle so klein sind. Ist dann nur die Frage wie man die alten Disks nutzen will. Könnte man 4x 4TB als Raidz1 + 4x 3TB als Raidz1 und das als Stripe mit zusätzlich 2 SSDs als Special device. Dann wären da grob 16,7TB für Backups nutzbar.
Oder du machst ein Raidz1 aus aus allen 6 disks (wovon bei den 4TB Disks aber nur 3TB nutzbar wären) und hättest dann knappe 12TB nutzbar für Backups.
Aber wenn du sagst deine eine VM ist schon 10TB, dann müsstest du wohl so oder so Disks nachkaufen. Am besten hat hält man ja einige Wochen/Monate an Backups vor, dass man da auch gegen Ransomware und Co geschützt ist. Da verschwendet man dann viel potenzial, wenn da gerade so ein einzelnen Backup aller VMs draufpasst aber man dann von der tollen Deduplikation kaum gebrauch machen kann, weil einfach der Platz für zusätzliche Backups fehlt.
Gerade wenn deine Synologys keinen Schutz vor schleichenden Dateiverfall bieten sollten wären ja längere Backups sinnvoll.