Proxmox ZFS Speicherhardware Best Practices

[Ren0]

Hallo liebe Proxmoxer,

ich bin derzeit bei der Konfiguration meines ersten eigenen Homeservers. Leider bin ich von der Informationsflut und den teils widersprüchlichen Aussagen, welche man in den Weiten des Internets bezüglich der Best Practices bei der Speicherkonfiguration findet, etwas erschlagen und baue deshalb auf eure Hilfe als erfahrenere User.

Geplant ist auf dem Server vor allem Self-Hosted Apps in Containern zu verwalten (Jellyfin, Nextcloud, Immich, HomeAssistant, Pi-Hole, Tandoor...). Der Server steht bei mir im Wohnzimmer weswegen ich viele Schreibzugriffe auf die HDDs aus Lautstärke gründen möglichst vermeiden möchte.

Nun zur angedachten Hardware Konfiguration:

3x 16TB Seagate Exos im RAID-Z1 als Datenspeicher für Medien und als Datenspeicher

2x 1TB Mushkin Endora m.2 SSD als Mirror für LXC und VMs

1x 960GB Samsung PM883 2,5" in ZFS RAID-0 als Bootdrive und eventuell als L2ARC und SLOG

Nun zu meinen Fragen:

• Macht diese Konfiguration für meinen Zweck Sinn?
• Sollte ich das Bootdrive besser auch gespiegelt haben?
• Ist für meinen Anwendungsfall L2ARC und SLOG überhaupt notwendig? Leider finden sich hier viele widersprüchliche Angaben im Netz von "Auf jeden Fall immer einrichten" bis "Für Homeserver totaler overkill". Ergänzend dazu plane ich mit 48GB RAM, falls das hilft.
• Ist es problematisch Proxmox, L2ARC und SLOG auf der gleichen SSD zu haben? Die Samsung PM833 hat PLP, und von dem was ich gelesen habe sollten dadurch selbst bei einem Ausfall die Daten in den anderen Pools nicht corrupted werden.
• Sollte ich bei den m.2 SSDs für die VMs auch auf Enterprise SSDs setzen oder hält sich hier der Verschleiß in Grenzen? Die Mushkin Endora hat eine MTBF von 1.500.000 Stunden ist es da den Aufpreis für die Enterprise SSD wirklich wert?

Als Case plane ich das Jonsbo N2 zu verwenden. Dort hätte ich Platz für 5x 3,5", 1x 2,5" und auf meinem Mainboard (N100 NAS Board von TopTon) ist Platz für 2x m.2.

Ich würde mich freuen wenn ihr mir bei der Konfiguration helfen könntet und freue mich auf eure Antworten und Gegenvorschläge

 

[mr44er]

Sollte ich das Bootdrive besser auch gespiegelt haben?

Aus technischer Sicht und Erfahrung, ja. Mindestens einen 2er Spiegel. Mindestens, weil einer ist besser als keiner und ich selbst schon davor stand, dass ich bei Ausfall einer Platte von der überlebenden resilvern wollte und die dann auch die Biege gemacht hat. Hat keinen Spaß gemacht, da denkt auch niemand dran...man hat ja nen "Spiegel".

Ist für meinen Anwendungsfall L2ARC und SLOG überhaupt notwendig?

Das ist eine schöne Sache, aber Bonuskram, für den Fall dass du noch Geld und Platz im Gehäuse übrig hast. IMHO Lieber einmal mehr spiegeln, als noch ein Fass aufzureißen, dass man dann nur halbherzig dazupfuscht.

Ist es problematisch Proxmox, L2ARC und SLOG auf der gleichen SSD zu haben? Die Samsung PM833 hat PLP, und von dem was ich gelesen habe sollten dadurch selbst bei einem Ausfall die Daten in den anderen Pools nicht corrupted werden.

"Sollten" mittlerweile nicht mehr, aber ich habe es nicht ausprobiert und im Zweifel will ich mich nicht drauf verlassen. Davon abgesehen ist ein einzelnes Laufwerk für drei Zwecke in meinen Augen Pfusch. Ein Laufwerk ist für sich allein gesehen bereits ein SPOF (single point of failure) und wenn du dann noch 3 Dinge davon abhängig machst...naja (mal ganz davon abgesehen, dass die darauf gelegten Bandbreitenlasten dann gegeneinander kämpfen aka "Bitte lassen Sie die Fahrgäste erst aussteigen."). In meinen Augen daher je Zweck mindestens einen eigenen mirror (muss nicht ZFS sein) und dann keine Verknüpfung/Abhängigkeit mit poolfremden disks.
Wie oben schon erwähnt, lieber einen triple mirror für Proxmox und auf der sicheren Seite sein, noch einen funktionierenden 2er mirror zu haben, während eine ausgefallen ist.

Dann kommt es auf dein Netzwerk an. Wenn das langsamer ist, als dein raidz1 in seiner bestehenden config schreiben und lesen kann, dann bringen dir weder SLOG noch L2ARC was.

Sollte ich bei den m.2 SSDs für die VMs auch auf Enterprise SSDs setzen

Ja, auf jeden Fall. Consumer-SSDs sind jedoch gut genug um das Proxmox-System zu booten oder als .iso-Ablage, weil da am wenigsten Schreiblast entsteht, aber auch eben nicht "nichts".

MTBF von 1.500.000 Stunden

"Wie länge fährt ein Auto, bis es stoppt?" Da kann man sich nicht drauf verlassen, zuviele Faktoren. Wenn das Ding z.B. im Gehäuse vor sich hinköchelt und du die Zellen einfach mit massiv viel Daten schneller durchschreibst, wird das Handtuch früher geworfen.

Als Case plane ich das Jonsbo N2 zu verwenden. Dort hätte ich Platz für 5x 3,5", 1x 2,5" und auf meinem Mainboard (N100 NAS Board von TopTon) ist Platz für 2x m.2.

Wie gesagt: Geld, Platz im Gehäuse und Slots auf dem Board, eins davon grätscht immer rein.

 

[Ren0]

Danke für deine ausführliche Antwort @mr44er.

Das mit dem L2ARC und SLOG werde ich erst mal sein lassen und abwarten wie das System performt. Zum Spiegeln der 2,5" SSD fehlt mir nur leider der Platz im Gehäuse und das schöne Geld.
Mein Gedanke war jetzt für den m.2 Mirror kleinere Enterprise SSDs zu verwenden und dort Proxmox zu installieren und auf der anderen 2,5" SSD die LXC zu speichern, also quasi getauscht. Nur wären dann halt stattdessen die Container nicht gespiegelt.
Könntest du da vielleicht deine Erfahrung teilen was einfacher wiederherzustellen ist im Worst Case: Die Proxmox Bootdrive oder der Pool mit den LXCs und VMs? Müsste sich Proxmox nicht relativ einfach wiederherstellen lassen, wenn man /etc/ gesichert hat?
Eigentlich müsste ja auf dem Volume mit den LXCs und VMs mehr geschrieben werden als auf dem Proxmox Volume oder mache ich da einen Denkfehler und unterschätze das Proxmox logging? Jedenfalls würde ich da den Weg des geringsten Widerstands wählen und das was leichter wiederherzustellen ist auf der RAID-0 Disk "opfern" und dann aus einem Backup wiederherstellen falls die SSD ausfällt. Für regelmäßige Snapshot Backups, die extern auf ein NAS abgelegt werden will ich auf jeden Fall noch sorgen.