Hardwareempfehlung Homeserver SSF

[blaekridor]

Hallo zusammen,

ich bin noch Proxmox Newbi aber freue mich auf das Forum und das System.

Ich möchte div. Systeme über Proxmox zusammenführen. Also Ziel ist ein performantes, stromsparendes Homeserver-System zu haben. Es sollen verschiedene Linux basierte Systeme laufen z.B. Homeassistant, DMS, Ubiquity DomainController aber auch ein Win11 System.

Jetzt hatte ich einen Fujitsu Esprimo D958 mit i5-8500 ins Auge gefasst oder HP EliteDesk 800 G5. Der HP ist ca. 100€ teurer kann aber 128GB Ram und der Fujitsu "nur" 64gb.

Was meint ihr dazu? Braucht es mehr als 64GB Ram für so einen Homeserver oder reichen 32GB? Wie seht ihr das Thema M2 SSDs? Der HP hat einen Slot dafür der Fujitsu nicht. Wäre es anzuraten M2 ssds zu verwenden?

Stromverbrauch ... ich habe leider keine Werte, gerade im idle, gefunden. Hat hier jemand von Euch Erfahrung?
VG

 

[sb-jw]

Der HP ist ca. 100€ teurer kann aber 128GB Ram

Sicher?
https://support.hp.com/de-de/document/c06414354

Oder meinst du einen anderen? Im Betreff nennst du ja SFF (bzw SSF, ist aber falsch), weshalb ein Tower dabei ja raus wäre.

 

[blaekridor]

ich meinte diesen
https://support.hp.com/us-en/document/c06403431 ... HP nennt das Smal Form Factor

 

[sb-jw]

Also grundsätzlich solltest du erstmal wissen, welche Anforderungen du insgesamt hast. Mach dir mal eine Liste von den aktuellen VMs und Diensten und deren ungefähren Ressourcen. Dann siehst du, ob die geplante Hardware in etwa ausreicht.

Wenn du Plex oder Windows VM etc machen willst, ist vielleicht auch eine iGPU nicht schlecht.
Du solltest dir aber auch Gedanken bzgl der E und P Cores machen, denn aktuell unterscheidet Linux hierbei meines Wissens nach nicht. Da solltest du also ggf auf das CPU Modell achten.

Auch über das Thema Backups solltest du dir Gedanken machen. Weder ein RAID noch eine VM mit PBS auf dem gleichen System kann wirklich als Backup angesehen werden. Das solltest du getrennt laufen lassen.

 

[Dunuin]

Und wenn du dir viel Kopfzerbrechen und Arbeit sparen willst dann achte auf Redundanz. Mit einem einzelnen M.2 Slot könnte ich z.B. nicht viel anfangen, außer vielleicht für ein SLOG für ZFS, da ich selbst keine Disks mehr ohne wenigstens Mirror/Raid1 betreiben würde. Ich würde die Ports da schon immer wenigstens doppelt haben wollen. Also 2x SATA oder 2x M.2. Und dann ist immer noch die Frage wie die M.2 Slots elektisch angebunden sind. PCIe 3.0/4.0/5.0? PCIe 4x, 2x oder gar nur SATA? Passen da auch 22110-Formfaktor SSDs rein oder max 2280? Wenn es 4x oder 2x PCIe Lanes hat, hängen die am Chipsatz oder direkt an der CPU? Fällt dir ein M.2 Slot weg wenn du eine PCIe Karte im PCIe Slot verbaust oder anders herum? Da muss man schon ziemlich genau gucken. Gerade bei Consumer-Platformen oder Mobile-Platformen, wo man ja von der Anzahl der PCIe-Lanes die direkt an der CPU hängen und daher volle Bandbreite liefern, schon arg eingeschränkt ist, dass da oft der zweite M.2 Slot dann den ersten M.2 Slot ausbremsen kann.

 

[blaekridor]

Diese refurbisheden SSF PC von Fujitsu, Lenovo, HP, Dell sind natürlich schon 5 Jahre alt ... um preislich für mich ok zu sein. Die Hardware ist daher schon veraltet. Der Fujitsu hat z.B. einen M.2- 22800 Slot.

Meine Idee war Proxmox auf eine NVMe SSD zu setzen und dann zwei Sata SSDs für die VMs zu benutzen. Mein Synology NAS soll dann als BackupServer fungieren.

@Dunuin Ich verstehe ja deinen Ansatz, dass man alles redundant auslegt. Aber was meinst du zu meiner Idee? Doch ZFS oder HardwareRaid verwenden?

Vielen Dank.

 

[sb-jw]

Doch ZFS oder HardwareRaid verwenden?

Das sagt er im Grunde doch
Wobei ich eher zu ZFS raten würde als HW RAID. Genau dafür brauchst du aber ausreichend Anschlüsse, die auch gleichwertig sind.

Der Punkt bei sowas ist immer, du kannst für Dinge mit Zeit oder Geld bezahlen. Wenn du Geld sparen willst und auf redunanz verzichtest, wirst du im Fehlerfall mit Zeit bezahlen. Wenn du vorher mit Geld bezahlt hast und eine redunanz verbaut hast, wirst du mit Geld bezahlen.

Du musst dir immer überlegen was dir mehr Wert ist. Ich zahle mittlerweile lieber mit Geld und nutze die Zeit für meine kleine Tochter. Denn das bisschen an Geld, was ich spare, ist mir den Verlust der Zeit nicht wert.

Das gilt also für den Server selbst als auch die Backups. Du musst dir immer überlegen, der Teufel ist ein Eichhörnchen, da kommt immer dann wenn es dir gerade gar nicht passt. Willst du an Weihnachten mit der Familie Essen oder möchtest du lieber versuchen dein halbes Heimnetz zu retten, damit du dieses oder jenes nutzen kannst oder es funktioniert.
Je mehr du selbst machst und je mehr du dich abhängig machst, desto relevanter wird dein Server werden. Und du hast ja ein paar Dienste aufgeführt, deren Ausfall dir potenziell auch Alltag probleme bereiten oder du zumindest hier und da ein wenig Bequemlichkeit verlierst.

 

[Dunuin]

Wenn du auf deine Daten wert legst ZFS wegen dem Checksumming. Da helfen ja auch Backups nichts, wenn dein Dateisystem nicht feststellen kann, ob eine Datei kaputt ist oder nicht und du vielleicht seit Jahren eine kaputte Datei in deine Backups (über)schreibst. Bei ZFS willst du dann aber auch wieder Enterprise SSDs und da gibt es für M.2 2280 nichts über 1TB. 2-4TB sind alles ausschließlich 22110 Formfaktor.

Meine Idee war Proxmox auf eine NVMe SSD zu setzen

Dann aber z.B. nicht vergessen, dass dir PVE keine Option bietet deinen PVE Host zu sichern. Nur die VMs und LXCs. Und selbst wenn du dir da ein Host-Backup zusammenfrickelst, dann wären beim Diskausfall immer noch die Änderungen seit dem letzen Backup weg. Und wenn man PVE richtig optimiert und absichern will, dann heißt das massig über die CLI nachinstallieren und konfigurieren. Das ist dann schon ein ganzes Stück Arbeit wenn man das erneut genau so aufsetzen will. Und aus Erfahrung kann ich sagen, dass man das dann oft garnicht mehr genau so hinbekommt, wenn man nicht jede kleine Änderung ordentlich dokumentiert hat, um es später erneut nachmachen zu können. Wenn ich Google nutze, um nach der Lösung von einem Problem zu suchen, dann zeigt mir Google nicht selten Posts von mir selbst von vor ein paar Jahren, wo mein Retro-Ich mir dann man aktuelles Problem löst, weil ich das schon alles nicht mehr weiß . Und je nachdem was du da an Diensten laufen lassen willst kann einige Tage Downtime auch sehr nervig sein. Wäre z.B. schon doof, wenn du dich nirgends mehr online einloggen kannst, weil dein Passwort-Manager für ein paar Tage nicht mehr geht oder dein ganzer Haushalt garnicht mehr online kommt, weil dein Router virtuell im PVE läuft und du einige Tage für die Fehlersuche und auf das Warten auf den Paketboten für die Ersatzteile brauchst.
Also ja, ich persönlich würde auch die Systemdisk nicht ungespiegelt haben wollen. Dann lieber gleich PVE System + VMs auf dem selben SATA SSD Mirror und den M.2 Slot einfach garnicht, oder für Backups, nutzen.

 

[blaekridor]

Wenn du auf deine Daten wert legst ZFS wegen dem Checksumming. Da helfen ja auch Backups nichts, wenn dein Dateisystem nicht feststellen kann, ob eine Datei kaputt ist oder nicht und du vielleicht seit Jahren eine kaputte Datei in deine Backups (über)schreibst. Bei ZFS willst du dann aber auch wieder Enterprise SSDs und da gibt es für M.2 2280 nichts über 1TB. 2-4TB sind alles ausschließlich 22110 Formfaktor.


Dann aber z.B. nicht vergessen, dass dir PVE keine Option bietet deinen PVE Host zu sichern. Nur die VMs und LXCs. Und selbst wenn du dir da ein Host-Backup zusammenfrickelst, dann wären beim Diskausfall immer noch die Änderungen seit dem letzen Backup weg. Und wenn man PVE richtig optimiert und absichern will, dann heißt das massig über die CLI nachinstallieren und konfigurieren. Das ist dann schon ein ganzes Stück Arbeit wenn man das erneut genau so aufsetzen will. Und aus Erfahrung kann ich sagen, dass man das dann oft garnicht mehr genau so hinbekommt, wenn man nicht jede kleine Änderung ordentlich dokumentiert hat, um es später erneut nachmachen zu können. Wenn ich Google nutze, um nach der Lösung von einem Problem zu suchen, dann zeigt mir Google nicht selten Posts von mir selbst von vor ein paar Jahren, wo mein Retro-Ich mir dann man aktuelles Problem löst, weil ich das schon alles nicht mehr weiß . Und je nachdem was du da an Diensten laufen lassen willst kann einige Tage Downtime auch sehr nervig sein. Wäre z.B. schon doof, wenn du dich nirgends mehr online einloggen kannst, weil dein Passwort-Manager für ein paar Tage nicht mehr geht oder dein ganzer Haushalt garnicht mehr online kommt, weil dein Router virtuell im PVE läuft und du einige Tage für die Fehlersuche und auf das Warten auf den Paketboten für die Ersatzteile brauchst.
Also ja, ich persönlich würde auch die Systemdisk nicht ungespiegelt haben wollen. Dann lieber gleich PVE System + VMs auf dem selben SATA SSD Mirror und den M.2 Slot einfach garnicht, oder für Backups, nutzen.

Danke Dir. Da ist natürlich wirklich was dran.

Ich hätte noch einen alten Supermicro 1HE Server (X8SIL) mit Hardware Raid. Macht es irgendwie Sinn so ein Gerät als PVE Host zu nehmen und Proxmox im Cluster laufen zu lassen?

Hier mache ich bestimmt einen Denkfehler

 

[Dunuin]

Vom Stromverbrauch und Lautstärke her nicht. Außer der steht irgendwie daußen im Geräteschuppen mit Solar auf dem Dach.
Also meinen neueren 1HE X9SCM-F schmeiße ich nur noch selten mal für Testzwecke mit Ohrstöpsel an.
Die X10 in ein 4HE verpflanzt gehen gerade noch so, würde ich mir aber auch schon nicht mehr heute anschaffen.

Der X8SIL kann außerdem max 32GB DDR3 RAM. Hat halt auch schon 14 Jahre auf dem Buckel. Und selbst wenn du die dickste CPU (Xeon X3480) mit 95W TDP einbaust ist die deutlich lahmer als eine Mobile CPU (N100) mit 6W TDP aus einem 200€ MiniPC.

 

[blaekridor]

Vom Stromverbrauch und Lautstärke her nicht. Außer der steht irgendwie daußen im Geräteschuppen mit Solar auf dem Dach.
Also meinen neueren 1HE X9SCM-F schmeiße ich nur noch selten mal für Testzwecke mit Ohrstöpsel an.
Die X10 in ein 4HE verpflanzt gehen gerade noch so, würde ich mir aber auch schon nicht mehr heute anschaffen.

Der X8SIL kann außerdem max 32GB DDR3 RAM. Hat halt auch schon 14 Jahre auf dem Buckel. Und selbst wenn du die dickste CPU (Xeon X3480) mit 95W TDP einbaust ist die deutlich lahmer als eine Mobile CPU (N100) mit 6W TDP aus einem 200€ MiniPC.

Ok, vielen Dank. Letzte Frage zum Thema Backup .. wieviele Platten wären dann zu empfehlen? PVE und VMs ist doch sicher ratsam zu trennen? -> somit wäre ich bei 4 SATA Platten. Könnt ihr eine Empfehlung geben welche Plattengrößen ratsam sind?

Viele Grüße

 

[Dunuin]

PVE und VMs ist doch sicher ratsam zu trennen? -> somit wäre ich bei 4 SATA Platten. Könnt ihr eine Empfehlung geben welche Plattengrößen ratsam sind?

Hat ein paar Vorteile ja, ist aber kein muss:
- du kannst VMs sichern, VM Disks wipen und neu einrichten oder durch größere ersetzen, ohne da PVE neu aufsetzen zu müssen. Hast du einen ZFS Mirror könnte man die aber auch manuell neu einrichten oder durch größere ersetzen, wenn man das eine Disk nach der anderen tut und dann die Partitionen und Dateisysteme manuell vergrößert.
- wenn eine VM seinen VM Storage zu 100% auslastet, dann bremst das nicht den PVE Host mit aus. So hart belastet man aber eher HDD und selten SSDs. Und wenn sich eh alle VMs den selben VM Storage teilen und eine VM dann durchdreht und an die Grenzen bringt, dann bremst diese VM ja auch automatisch alle anderen VMs mit aus, dass da eh so gut wie alles langsam wäre.
- bei ZFS musst du dich nicht entscheiden wieviel Platz von dem Pool du für das Root-Dateisystem und wieviel für den VM Storage haben willst. Den teilen sich beide zu 100% komplett dynamisch dank Thin-Provisioing
- größten Vorteil sehe ich noch, wenn man ein Block-Level-Backup vom PVE System machen will. Dann kann man gezielt die ganzen Systemdisks sichern (welche man dann schön klein wählt) ohne dabei auch die VMs mitsichern zu müssen, die man ja eh bereits extra gesichert haben will.

Könnt ihr eine Empfehlung geben welche Plattengrößen ratsam sind?

Hängt ganz davon ab was du alles speichern willst. Für PVE selbst reichen 16-32GB. Je nachdem wieviele ISOs und Templates du speichern willst entsprechend mehr. VM Storage hängt ganz von deinen VMs ab. Und falls du ZFS nutzen willst nicht vergessen, dass man den Pool im Idealfall nicht mehr als 80% füllen sollte. Und Snapshots nehmen auch noch ordentlich Platz oben drauf weg, falls du die nutzen willst. Also wenn du 2x 2TB kaufst hast du im Mirror dann eher so 1,6TB nutzbar und davon würde ich noch eine gute Menge für Snapshots einplanen. Also am Ende vielleicht eher so 1,2 TB oder sowas. Musst du also entsprechend groß dimensionieren.