Fragen zum Ersteinsatz PBS
- Thread starter Lucar
- Start date
Nun ist/ wird ZFS verwendet?
Soll der Proxmox BS rein SSD only sein?
Rein HDD only, ohne passenden ZFS Special Device als VDEV Mirror mit 2-N SSD Disk, ist sinnlos.
Der Proxmox BS ist primär für häufige Backus der LXC und VM gedacht.
LXC und VM Daten muss/ kann man dann separat sichern.
Bitte bedenke die Deduplication des Proxmox BS sorgt dafür, dass sich nur geänderte Daten gespeichert werden.
Aber beim Backup immer ein großen Overhead an vergleichen mit den Chunk erfolgt.
Also müssen die IOPS des gesamt Systems sehr hoch sein.
So ein Proxmox BS Chunk liegt im Bereich von bis zu 4MByte und bei mir ist der deduplication Faktor bei über 6,5.
Netzwerk
Wenn man 10 GBit/s nutzen kann, dann würde ich sie auch nutzen!
Management
Die 1 GBit/s sind bei mir nur für das Management vorgesehen.
Deine Hardware ist für ein reinen Backup Server sehr "fett".
Eine CPU ab 4 Kerner mit 8 Threads reicht.
Beispiel:
LGA 1700 Intel Core I3-12100, Intel Core I5-12400, dann kann man auch die Intel Gen. 14. noch betrachten.
Den Intel Core I5-14400 gibt's gerade für 149,90 € bei Alternate.de.
Das kombiniert mit einem Biostar B760MX2-E Pro D4 Micro ATX Mainboard, liefert auch schon 2x 4x SATA III, auf Lager bei Jacob.de für 108,28 €.
Mit 32 GB DDR4, 3200 MT/s, CL16 und 8 - 16 GB ZFS ARC Cache hat man ein permanenten ZFS Server.
Je nach Gehäuse und eingestelltem PL1 und PL2 der CPU kann man auch einen ca. 100 Watt top blower CPU Kühler verwenden und ein 19" Rackgehäuse wählen.
Ich hatte dazu schon mal etwas geschrieben:
# https://forum.proxmox.com/direct-messages/biostar-b760mx2-e-pro-d4-system-lga-1700.3522/
Ryzen
Aber auch um den AMD AM Ryzen™ Proxmox Server ist vorstellbar. DDR4 bringt Dir hier einen Preisvorteil.
Man muss nur das passende Mainboard mit genügend SATA III und evtl. mit SATA III Erweiterungskarten finden.
Siehe Betäge von mir zum Ryzen 5 3500X, Ryzen 5 PRO 5655G und Ryzen 7 PRO 5755G.
ZFS
NVMe M.2 wird ohne DRAM und PLP im ZFS Verbund nicht zufrieden stellend funktionieren.
Man benötigt hohe IOPs über random 4k R/W.
Schaut man sich mal die SSD Tests an, dann liegen einige dieser Consumer NVMe M.2 nur im Bereich von ca. 40 MByte/s lesen, die TWB ist entsprechend niedrieg.
PCIe 4 x4 oder PCIe 5 x4 ist hier kein Argument.
Soll der Proxmox BS rein SSD only sein?
Rein HDD only, ohne passenden ZFS Special Device als VDEV Mirror mit 2-N SSD Disk, ist sinnlos.
Der Proxmox BS ist primär für häufige Backus der LXC und VM gedacht.
LXC und VM Daten muss/ kann man dann separat sichern.
Bitte bedenke die Deduplication des Proxmox BS sorgt dafür, dass sich nur geänderte Daten gespeichert werden.
Aber beim Backup immer ein großen Overhead an vergleichen mit den Chunk erfolgt.
Also müssen die IOPS des gesamt Systems sehr hoch sein.
So ein Proxmox BS Chunk liegt im Bereich von bis zu 4MByte und bei mir ist der deduplication Faktor bei über 6,5.
Netzwerk
Wenn man 10 GBit/s nutzen kann, dann würde ich sie auch nutzen!
Management
Die 1 GBit/s sind bei mir nur für das Management vorgesehen.
Deine Hardware ist für ein reinen Backup Server sehr "fett".
Eine CPU ab 4 Kerner mit 8 Threads reicht.
Beispiel:
LGA 1700 Intel Core I3-12100, Intel Core I5-12400, dann kann man auch die Intel Gen. 14. noch betrachten.
Den Intel Core I5-14400 gibt's gerade für 149,90 € bei Alternate.de.
Das kombiniert mit einem Biostar B760MX2-E Pro D4 Micro ATX Mainboard, liefert auch schon 2x 4x SATA III, auf Lager bei Jacob.de für 108,28 €.
Mit 32 GB DDR4, 3200 MT/s, CL16 und 8 - 16 GB ZFS ARC Cache hat man ein permanenten ZFS Server.
Je nach Gehäuse und eingestelltem PL1 und PL2 der CPU kann man auch einen ca. 100 Watt top blower CPU Kühler verwenden und ein 19" Rackgehäuse wählen.
Ich hatte dazu schon mal etwas geschrieben:
# https://forum.proxmox.com/direct-messages/biostar-b760mx2-e-pro-d4-system-lga-1700.3522/
Ryzen
Aber auch um den AMD AM Ryzen™ Proxmox Server ist vorstellbar. DDR4 bringt Dir hier einen Preisvorteil.
Man muss nur das passende Mainboard mit genügend SATA III und evtl. mit SATA III Erweiterungskarten finden.
Siehe Betäge von mir zum Ryzen 5 3500X, Ryzen 5 PRO 5655G und Ryzen 7 PRO 5755G.
ZFS
NVMe M.2 wird ohne DRAM und PLP im ZFS Verbund nicht zufrieden stellend funktionieren.
Man benötigt hohe IOPs über random 4k R/W.
Schaut man sich mal die SSD Tests an, dann liegen einige dieser Consumer NVMe M.2 nur im Bereich von ca. 40 MByte/s lesen, die TWB ist entsprechend niedrieg.
PCIe 4 x4 oder PCIe 5 x4 ist hier kein Argument.
Last edited:
Proxmox BS Konzept
Ich betreibe mein PBS mit getreten ZFS Pool rpool, dort liegt das Betriebssystem.
Und noch ein ZFS Pool dpool mit gemischten SSD VDEV ZFS Special Device und 4x Seagate CMR 4K NAS Festplatten.
Die Festplatten sind als zwei VDEV0 ZFS Mirror 2x HDD und VDEV1 Mirror 2x HDD angelegt und das ZFS VDEV2 Special Device mit 2x Mirror SSD ergänzt den Pool für die ZFS Metadaten.
So kann ich meinen 2.5 GBit/s Anbindung sättigen.
Die SSD für den rpool könnten welche von hier sein:
# https://www.thomas-krenn.com/de/hardware-outlet/hardware-outlet
Ich nutze gerne ~ 500 GB für den rpool.
Ich betreibe mein PBS mit getreten ZFS Pool rpool, dort liegt das Betriebssystem.
Und noch ein ZFS Pool dpool mit gemischten SSD VDEV ZFS Special Device und 4x Seagate CMR 4K NAS Festplatten.
Die Festplatten sind als zwei VDEV0 ZFS Mirror 2x HDD und VDEV1 Mirror 2x HDD angelegt und das ZFS VDEV2 Special Device mit 2x Mirror SSD ergänzt den Pool für die ZFS Metadaten.
So kann ich meinen 2.5 GBit/s Anbindung sättigen.
Die SSD für den rpool könnten welche von hier sein:
# https://www.thomas-krenn.com/de/hardware-outlet/hardware-outlet
Ich nutze gerne ~ 500 GB für den rpool.
Natürlich gibt es verschiedene und dennoch sinnvolle Ansätze,
Wenn das primär ein PBS sein soll würde ich folgendes tun - Kurzversion, das wurde hier im Forum schon vielfach erläutert...:
- Installation nur auf die Blechplatten, vier Mirrors aus je zwei Platten; alle diese Platten sind dann bootfähig und liefern das Maximum an IOPS, was damit zu machen ist - und PBS braucht IOPS, sonst läuft es (langfristig) nicht rund. (Wenn der Storage voll ist, liegen dort mehr als 30 Millionen Chunks, rechne mal die Einlesedauer (z.B. beim Verify) aus...
- nach der Installation die beiden NVMe als Special Device hinzufügen; als ich dies das letzte mal gemacht hatte, ging das nur nachträglich und per CLI. Dieses SD ist essentiell, nicht optional. (Und bei "nur" 1 TB Kapazität würde ich nicht special_small_blocks dorthin tun.)