Proxmox Homeserver, ZFS, AMD Mainboard B550, AMD Ryzen 5000 und 3000 CPU, SSD, HDD, NVMe 4.0 x4

[news]

Hallo,

ich stelle Euch mal diese Hardwarezusammenstellen zur Verfügung und hoffe auf guten Meinungsaustausch:
# https://geizhals.de/wishlists/4623362

Ziele:

• Preiswert,
• geringe Gehäuse-Abmessung,
• ZFS durchgängig als Datei- und Filesystem - für den Boot- und Datapool,
• Einstieg mit 16 GByte DDR4 Ram,
• AMD B550 Chipsatz für PCIe 4.0,
• Einstieg CPU Ryzen 5 3500X + GPU, Alternativen
  Mit APU, nur PCIe 3.0, ohne ECC: sind
  - 6 Kerne: Ryzen 5 5500GT, Ryzen 5 5600GT oder Ryzen 5 5600G
  - 8 Kerne: Ryzen 7 5700G oder
  Ohne APU, PCIe 4.0 und ECC:
  - Ryzen 5 5600(x) 6C,
  - Ryzen 7 5700(x) 8C,
  - Ryzen 9 5900x 12C und
  - Ryzen 9 5900xt 16C.
• 2x HDD 4 TB und
• 2x SSD 512 GB oder 2x SSD 1 TB, mit DRAM aber leider ohne PLP.
• Eine USV ist mit ZFS immer zu empfehlen!

Mit schon 512 GB SSDs lässt sich der ZFS Datapool Mirror rpool, Boot mit 2x SSD Partitionen á 250 GByte konfigurieren.

Der ZFS Datapool dpool hat dagegen, 3 ZFS VDEVs:

• ZFS VDEV0 Mirror mit 2x HDD,
• ZFS VDEV1 Mirror mit 2x SSD Partition 4 mit 16 GB als ZFS ZIL/SLOG
• ZFS VDEV2 Mirror mit 2x SSD Partition 4 mit ca. 220 GB als ZFS Special Device

Mit dem vorgeschlagenen ASRock B550m Pro4 Mainboard, hat man noch weitere 2x SATA III Anschlüße für weiteren Datenträger und kann zusätzlich auch noch 1x NVMe 4.0 x4 direkt über das Mainboard und 1 - 4 weitere NVMe 4.0 x4 über eine PCIe-M.2 Erweiterungskarte nutzen.
Auf die Kühlung der weiteren NVMe 4.0 ist besonders zu achten!

Die beiden HDDs sind für die Auslastung der 1 GBit/s (~ 125 MByte/s) Netzwerkschnittstelle ausgelegt.

Edit: CPU Auflistung und Alternativen. Auf ext. Link weitere SSDs und HDDs aufgenommen.

 

[news]

Moin,
irgendwie ist das doch eine KI generierte Antwort. Oder?

Edit: und ohne nennenswerten Strukturierung im Text, alles wird irgendwie aufgegriffen und wiederholt.
Aber das hat die KI schon erkannt, ich habe mir Gedanken gemacht bei der Auswahl der Komponenten und deren Erweiterungsmöglichkeiten.

PS. Das System läuft natürlich in einer Variante.
Die CPU hatte ich zwischen 15 - 45 Watt gedrosselt betrieben.
Als Proxmox VE Server mit Fileserver Attitüde funktioniert das System wie erwartet.

 

[desotech]

I have a customer with an edge use case where a compact and efficient Proxmox + ZFS system like yours would fit perfectly, so your experience with this build is very valuable.

 

[GMBauer]

Du brauchst dir nur anschauen, wie viele solcher Antworten desotech in kürzester Zeit hier postet. So schnell schreib nicht mal ich, und ich hab das früher beruflich gemacht....

@ desotech: Es ist nicht zielführend, dieses Forum mit KI-Rotze vollzumachen. Lass das bitte. KIs fragen können wir selbst.

 

[ThoSo]

Hallo @news
Da hast Dir aber wieder viel Arbeit gemacht mit deinem Bauvorschlag. Es wäre durchaus auch mal interessant, diesen mit groben ca Preisen zu unerfüttern.
Wobei Geizhals Suchmaschine hier nicht gerade mein erste Wahl wäre…

Gerade wenn ich hier so die vielen HomeLab User mir ansehe mitihren NUCs. ich finde die ja schnuckelig, bis auf das externe Netzteil und die beschränkungen bezüglich des innenausbaus mit SSDs. Da ich auch kein Freund von externen USB Platte im Produktiven dauerbetrieb bin (für Sicherungen OK) wäre sowas vielleicht mal für den einen oder anderen hier als Alternative sinnvoll und produktiv zielführender.

Stichwort USV Online, Eaton, APC was würdest du hier einsetzen?

Ich bin ja schon lange aus dem selbstbau-Geschäft raus. Aber auch professionelle Stangenware verträgt Upgrades.

 

[news]

Danke @ThoSo für deine Rückmeldung,
ja den Trend, viele nutzen im Homebereich keine nicht erweiterbare oder alte Hardware, dann noch mit ext. USB Datenträgern, dass finde ich nicht zielführend für den Proxmox VE Server.

Ich finde dieses USV, die problemlos über USB 2.0 ihr Inneres preisgibt, eine gute Wahl.
Läuft unter Linux einfach apt install nutzen.

APC Back-UPS 350, 230 V, Batterie 12V, 7.0Ah, BK350EI
# https://www.se.com/de/de/product/BK350EI/apc-backups-350-230-v-batterie-12v-7-0ah/

 

[Felix.]

Der ZFS Datapool dpool hat dagegen, 3 ZFS VDEVs:

• ZFS VDEV0 Mirror mit 2x HDD,
• ZFS VDEV1 Mirror mit 2x SSD Partition 4 mit 16 GB als ZFS ZIL/SLOG
• ZFS VDEV2 Mirror mit 2x SSD Partition 4 mit ca. 220 GB als ZFS Special Device

Nutzt du den Server gleichzeitig als PBS (Backup Server) ?
Falls nein, spar dir die Special Devices, das bringt allenfalls noch irgendwas, wenn du viele LXC container nutzt, da die ebenfalls ZFS als Filesystem nutzen dann.
VMs mit Block Devices (ZVOL) wird das nicht nützen, die wären mMn. mit einem L2ARC besser dran.

SLOG ohne PLP kann man praktisch vergessen, du wirst damit keine Freude haben.
Es lohnt sich auch erstmal zu schauen wie sich die HDDs alleine schlagen, moderne Disken können auch ein bisschen was.

Mit schon 512 GB SSDs lässt sich der ZFS Datapool Mirror rpool, Boot mit 2x SSD Partitionen á 250 GByte konfigurieren.

Ich installiere Proxmox persönlich auf 32GB Partitionen, mit compression aktiviert.
Meistens belegt das OS nicht mehr als 2-5 GB, also reichlich Luft.

+ GPU ( Alternativen mit APU

Wenn du mit der GPU mehr machen willst als nur den Installer laufen zu lassen, dann fände ich eine APU und etwas Vernünftiges besser. Intel Arc A380 zB (für Jellyfin / Plex oder so).

 

[news]

Danke @Felix.
dieser Server wird als Remote Fileserver eingesetzt werden, dazu wird dann die Hardware nochmals ausgetauscht, ein Downgrade so zu sagen. SDDs und HDDs rein und schon läuft das System unter Proxmox 9 VE.
Leider kann man das Mainboard nicht ohne GPU - also Headless - betreiben, dafür aber ECC Ram mit dem Ryzen 5 3500X nutzen.

Im AM4 AMD B550 Bereich wird es langsam eng, zum Weihnachtsgeschäfts wird der Abverkauf der Hardware beendet sein und die Preise steigen dann auch wieder.

 

[UdoB]

• 2x SSD 512 GB oder 2x SSD 1 TB, mit DRAM aber leider ohne PLP.
• Eine USV ist mit ZFS immer zu empfehlen!

Ohne PLP geht die Performance (IOPS) und die Lebensdauer nennenswert herunter. Aber das weißt du natürlich. Eine USV lindert diese beiden Aspekte nicht!

• ZFS VDEV1 Mirror mit 2x SSD Partition 4 mit 16 GB als ZFS ZIL/SLOG
• ZFS VDEV2 Mirror mit 2x SSD Partition 4 mit ca. 220 GB als ZFS Special Device

Das Special Device finde ich -wie immer- gut, aber nur, sofern auf den HDDs mehr als "nur das Betriebssystem" landet.

Ein SLOG macht nur unter spezifischen Bedingungen Sinn: bei vielen SYNC-Schreibvorgängen - und das auch nur wenn das finale Ziel viel langsamer ist.

Generell bin ich gegen die Nutzung von Partitionen im ZFS-Kontext. Das verkompliziert den Austausch nennenswert. Außerdem kommen sich Zugriff natürlich gegenseitig ins Gehege. Natürlich gibt es auch Gründe für so etwas.

Wie immer: das sind nur zwei meiner überzähligen (überflüssigen?) Pfennige...

 

[news]

Hallo @UdoB, danke für deine Ergänzungen.

Diese Aussage stimmt nach meinem Wissen so nicht:
"Ohne PLP geht die Performance (IOPS) und die Lebensdauer nennenswert herunter."

PLP ist eine Abkürzung für "power loss protection" und der Hersteller integriert eine Strompuffer, i.A. in Form von Kondensatoren, in die Baugruppe.

Zitat: "Hardware-PLP – Das Design von Hardware-PLP zielt hauptsächlich auf die Reduzierung von Datenverlust durch die Aufrechterhaltung der Stromversorgung der SSD durch On-Board-Stromkondensatoren (Power Caps) ab, die lang genug ist, damit die Daten aus dem Cache-Puffer der SSD in den Flashspeicher geschrieben und ihre Mapping-Tabellen aktualisiert werden können. Im konzeptionellen Überblick sähe ein typisches PLP-Ereignis auf Hardware-Basis bei einer SSD in etwa folgendermaßen aus:

Der SSD-Controller erkennt einen plötzlichen Stromausfall:

• Die On-Board-Stromkondensatoren halten die Stromversorgung für die SSD aufrecht;
• Der Controller gibt ein internes Kommando zum Leeren seiner Cache-Puffer aus;
• Als Vorbereitung für die Unterbrechung der Stromversorgung aktualisiert der Controller seine Mapping-Tabellen;
• Das Laufwerk wird kontrolliert abgeschaltet.

Quelle: https://www.kingston.com/de/blog/servers-and-data-centers/ssd-power-loss-protection

Der DRAM Cache dient u.a. als Datenzwischenspeicher bei Schreibvorgängen auf den Flash-Speicher.
# https://phisonblog.com/de/dram-or-n...n-dram-and-dram-less-ssds-and-why-it-matters/

Die Crucial MX500 SSD hatten, vor ihren Einstellung, beides an Board und wurden deshalb von mir gerne verwendet.
Einzig die geringe TWB der Einheiten, trübten das Bild sehr.

So war die Suche für einen Nachfolger mit ähnlichen Parametern und viel mehe TRWB mit den ADATA Ultimate SU800 SSD Serie erfolgreich.
# https://www.adata.com/de/consumer/category/ssds/410/
# https://www.techpowerup.com/ssd-specs/adata-ultimate-su800-512-gb.d184

Man kann das VDEV als ZFS ZIL/SLOG unterschiedlich konfigurieren, z.B. mit sync=always werden alle Daten zuerst auf das VDEV ZFS ZIL/SLOG geschrieben und anschließend auf die VDEV ZFS mirror mit 2x HDD verteilt.

Bei meiner Ausrichtung für o.g. System, als Proxmox VE/ Filesyerver, wurden tests mit VDEV ZFS ZIL/SLOG und sync=standard gemacht. Und der VDEV ZFS ZIL/SLOG wird bei großen Datenmengen auf eine ZFS Dataset mit recordsize=512k mit genutzt.
Also Ziel erreicht, der Schreibvorgang über das Netz läuft durchgänig mit 120 MByte/s ab.

Auch sind hier die Seagate HDDs als Einstieg zu sehen, aber sie haben schon 24/7 NAS Ausrichtung.
Als weiter Steigerung im Durchsatz und geringe Ausfallwahrscheinlichkeiten sind diese HDDs einzuordnen.

1. Seagate IronWolf Pro NAS (CMR)
2. Seagate IronWolf NAS (CMR)
3. Seagate Seagate SkyHawk, 4TB (ST4000VX007), EOL
4. Seagate Seagate SkyHawk, 4TB (ST4000VX016), Vorschlag

Auch hier steigt der Datendurchsatz und die IOPS bei den höherpreisigen Modellen an.

 

[UdoB]

Das ist alles richtig, aber meine Schlußfolgerungen sind anders, ich liefere mal ein "...weil" nach:

Diese Aussage stimmt nach meinem Wissen so nicht:
"Ohne PLP geht die Performance (IOPS) und die Lebensdauer nennenswert herunter."

1) ohne PLP landen (zumindest sync-) Schreibvorgänge direkt in den Speicherzellen; das ist natürlich um ein Vielfaches langsamer

2) ohne PLP werden diese Schreibvorgänge sofort für den passenden Speicherzellen-Verbund notwendig. Es wird ja nicht eine Zelle beschrieben, sondern ein ganzer Stapel davon! Das ergibt Stress für viele Zellen für jeden einzelnen Schreibvorgang! Diese Write-Amplification auf der unteren Ebene lässt sich nur mit Caches auf der oberen Ebene vermeiden - und dazu braucht man wiederum zwingend PLP, weil man damit "sync"-Schreibvorgänge bereits bestätigen kann die erst noch umsortiert und gesammelt werden, bevor tatsächlich geschrieben wird. Es werden viel mehr Speicherzellen beschrieben, als der Umfang der Nettodaten vermuten ließe!

Man kann das VDEV als ZFS ZIL/SLOG unterschiedlich konfigurieren, z.B. mit sync=always werden alle Daten zuerst auf das VDEV ZFS ZIL/SLOG geschrieben und anschließend auf die VDEV ZFS mirror mit 2x HDD verteilt.

Ich bin mir nicht ganz sicher, was du mit "=always" erreichen möchtest. Das Gesamtergebnis ist definitiv langsamer als ohne dies. Ohne "=always" befindet sich der Auffang-Puffer im Ram = schneller geht es nicht. Und da die Applikation ja die Daten ohne "sync" geschrieben hat, wäre ein Datenverlust dieses Schreibvorgangs unkritisch. Sagt die Applikation, also der Auftraggeber.

Details: https://www.servethehome.com/what-is-the-zfs-zil-slog-and-what-makes-a-good-one/

 

[Falk R.]

Hallo @UdoB, danke für deine Ergänzungen.

Diese Aussage stimmt nach meinem Wissen so nicht:
"Ohne PLP geht die Performance (IOPS) und die Lebensdauer nennenswert herunter."

PLP ist eine Abkürzung für "power loss protection" und der Hersteller integriert eine Strompuffer, i.A. in Form von Kondensatoren, in die Baugruppe.

Zitat: "Hardware-PLP – Das Design von Hardware-PLP zielt hauptsächlich auf die Reduzierung von Datenverlust durch die Aufrechterhaltung der Stromversorgung der SSD durch On-Board-Stromkondensatoren (Power Caps) ab, die lang genug ist, damit die Daten aus dem Cache-Puffer der SSD in den Flashspeicher geschrieben und ihre Mapping-Tabellen aktualisiert werden können. Im konzeptionellen Überblick sähe ein typisches PLP-Ereignis auf Hardware-Basis bei einer SSD in etwa folgendermaßen aus:

Der SSD-Controller erkennt einen plötzlichen Stromausfall:

• Die On-Board-Stromkondensatoren halten die Stromversorgung für die SSD aufrecht;
• Der Controller gibt ein internes Kommando zum Leeren seiner Cache-Puffer aus;
• Als Vorbereitung für die Unterbrechung der Stromversorgung aktualisiert der Controller seine Mapping-Tabellen;
• Das Laufwerk wird kontrolliert abgeschaltet.

Quelle: https://www.kingston.com/de/blog/servers-and-data-centers/ssd-power-loss-protection

Der DRAM Cache dient u.a. als Datenzwischenspeicher bei Schreibvorgängen auf den Flash-Speicher.
# https://phisonblog.com/de/dram-or-n...n-dram-and-dram-less-ssds-and-why-it-matters/

Die Crucial MX500 SSD hatten, vor ihren Einstellung, beides an Board und wurden deshalb von mir gerne verwendet.
Einzig die geringe TWB der Einheiten, trübten das Bild sehr.

So war die Suche für einen Nachfolger mit ähnlichen Parametern und viel mehe TRWB mit den ADATA Ultimate SU800 SSD Serie erfolgreich.
# https://www.adata.com/de/consumer/category/ssds/410/
# https://www.techpowerup.com/ssd-specs/adata-ultimate-su800-512-gb.d184

Das Thema hatten wir doch schon einmal. Du hast die richtigen Artikel zitiert, nur nicht 100% die richtigen Schlüsse daraus gezogen.

Der Unterschied ist, der DRAM Schreibcache. Der wird nur bei PLP genutzt und ist natürlich aus Datenkonsistenzgründen bei den SSDs ohne PLP nicht da. Dort wird der DRAM nur als Lesecache genutzt.
Hast du keinen DRAM Schreibcache, nutzt er deine schönen TLC oder QLC Zellen zu Caching als SLC Zelle. Wenn nur ein Zustand geändert wird, geht das viel schneller zu schreiben. Die Daten müssen nach dem Caching aber wieder umkopiert werden, was zu mehr Verschleiß führt. Außerdem ist der SLC Cache auch stark limitiert, um die Zellen zu schützen und wenn du größere Daten am Stück schreibst, merkst du es richtig, weil dann direkt 3 oder 4 Zustände auf einmal pro Zelle geändert werden.

Eventuell ist dir auch aufgefallen, dass SSDs mit PLP, mehr DRAM Cache haben, was beim schreiben noch einmal extra Schub gibt. (Kann mehr auf einmal angenommen werden.)

 

[ugf]

Wofür die GPU ? mit der iGPU wirst du nicht wirklich was reißen (ki), und afaik war passthrough von iGPU ohnehin schwierig, bzw. eig. unmöglich. (Mein Stand ist jetzt aber auch ein paar Jahre her).
5800x/5900x gibs schon für unter 300 EUR im Angebot. Wenn Strom keine Rolle spielt. . CPU spielt beim Stromverbrauch ne wichtige Rolle 50W/Monat sind schon spürbar im Geldbeutel.
RAM: ECC oder lass ZFS weg. Wenn dein RAM Fehler wirft (non-ecc), dann läuft dir ZFS Amok.
USV mit ZFS, joah ehm. tbh. nie Probleme gehabt nice2have auf jedenfall. Deine Daten sind aber nicht autom. immer weg, wenn Strom wegknallt.

Beim Mainbord: Stichwort Bifurcation, willst du bestimmt auch haben. Sonst kannst du die x16 nur für ein Gerät und nicht bspw x4x4x4x4 nutzen.
Dein Asrock kann das wohl nicht, der Invest lohnt sich aber. Easy nen 4x m.2 Adapter kannste mit bifurcation nachträglich reinschieben, ohne halt nicht.
Bei solchen Setups wäre mir persönlich noch Wake-on-Lan sehr wichtig und ggf. IPMI (weil somewhat server), aber ja.

Den log schön mirrorn, und sicherstellen, das es am besten SLC disks sind, TLC gehen vmtl auch noch fürn Homebuild. QLC sind lahm und schreibst du nur sehr sehr schnell tot, def. not worth. Aber das super Abhängig von der Workload, homebuilds sind ja eher "human".

Beim L2 SSD-Cache, ja ... wenn zu erwarten, dass du viel sequentiell liest, dann bringt der schon etwas Entlastung der HDDs, der log auf jedenfall für hdds.
HDDs auf jedenfall NAS oder Enterprise, keine Desktop, da ist die Fehlerleserate zu hoch. CMR or not CMR, jedenfalls nicht mischen und du bist fein.

Dem Build kann man aber locker 90/100 Punkte geben, hoffe du hast Spaß damit !

 

[UdoB]

RAM: ECC oder lass ZFS weg.

Das sehe ich fundamental anders: JEDES Dateisystem profitiert von ECC. (Genau genommen: jedes beliebige Computerprogramm - wir betrachten nur oft Dateisysteme.)

Wenn dein RAM Fehler wirft (non-ecc), dann läuft dir ZFS Amok.

Auch das bewerte ich anders: mit ECC wird ein solcher Fehler bemerkt und möglicherweise (je nach Fehlerbehandlungsroutine) stürzt das passende Programm ab. OHNE ECC wird einfach mit kaputten Daten weitergearbeitet.

Bemerkt wird das unter Umständen erst viel später - vielleicht erst wenn Dateien wieder gelesen werden und die wichtige xyz-Datei nur Schrott enthält.


Disclaimer: in meinem Homelab habe ich nur ein paar wenige Rechner mit ECC, Dank der geringen Verfügbarkeit im MiniPC-Bereich. Im $dayjob hingegen gibt keinen einzigen Server, der kein ECC hat.

 

[news]

Wofür die GPU ?

Ohne GPU läuft das Mainboard nicht und mit einer normalen Ryzen APU kann man kein ECC DDR4 Ram nutzen.
Dazu benötigt man dann die Ryzen 5000 PRO Ausführungen.

Beim Mainbord: Stichwort Bifurcation, willst du bestimmt auch haben. Sonst kannst du die x16 nur für ein Gerät und nicht bspw x4x4x4x4 nutzen.
Dein Asrock kann das wohl nicht, der Invest lohnt sich aber. Easy nen 4x m.2 Adapter kannste mit bifurcation nachträglich reinschieben, ohne halt nicht.

Doch ist da und deshalb auch meine Ausführung, dass man 5x NVMe PCIe 4.0 nutzen kann, wenn da nicht die Abwärme der Datenträger wäre.

Bei solchen Setups wäre mir persönlich noch Wake-on-Lan sehr wichtig und ggf. IPMI (weil somewhat server), aber ja.

Klar, ist doch vorhanden. Nun ist halt kein Serverboard.

Den log schön mirrorn, und sicherstellen, das es am besten SLC disks sind, TLC gehen vmtl auch noch fürn Homebuild. QLC sind lahm und schreibst du nur sehr sehr schnell tot, def. not worth. Aber das super Abhängig von der Workload, homebuilds sind ja eher "human".

aka.

Beim L2 SSD-Cache, ja ... wenn zu erwarten, dass du viel sequentiell liest, dann bringt der schon etwas Entlastung der HDDs, der log auf jedenfall für hdds.

Ja als Schreibcache ist das ZFS ZIL/SLOG gedacht. Je nach Konfiguration auch dauernd im Einsatz, mache ich aber nicht.
Mein Setup zielt primär darauf ab, den Proxmox VE als NAS/ Datenspeicher einsetzen zu können.
Mit der kleinen CPU Ryzen 5 3500x ist das deshalb auch ausreichen, man kann aber auch auf eine Ryzen 5 5000 CPU ohne APU gehen, dann kann man auch ECC DDR4 Ram nutzen.

Die aufgeführten Seagate HDDs sind alle für den Dauerbetrieb 24/7, incl. Datenwiederherstellung ausgelegt.

HDDs auf jedenfall NAS oder Enterprise, keine Desktop, da ist die Fehlerleserate zu hoch. CMR or not CMR, jedenfalls nicht mischen und du bist fein.

Klar CMR, wie man aus der überarbeiteten Geizhals Liste entnehmen kann.

Dem Build kann man aber locker 90/100 Punkte geben, hoffe du hast Spaß damit !

Danke.

 

[news]

Was helfen soll, ist eine weitere ZFS Option/ Parameter in
/etc/modprobe.d/zfs.conf

# https://www.reddit.com/r/zfs/comments/8102nf/any_experience_with_the_unsupported_openzfs/
options zfs zfs_flags=0x10

Dann passe ich auch meine arc-cache Min- und Max-Grenzen noch an,
als Beispiel:

# Set Min ARC size
# 512 MB
options zfs zfs_arc_min=536870912

# Set Max ARC Size
# 2 GB
options zfs zfs_arc_max=2147483648
# 3 GB
#options zfs zfs_arc_max=3221225472
# 4 GB
#options zfs zfs_arc_max=4294967296
# 8 GB
#options zfs zfs_arc_max=8589934592

# sudo update-initramfs -u -k all

Der oben vorgestellte Rechner kann mit 32 GB DDR4 Ram gut 16 GB - 26 GB arc-cache vertragen.
Bei 16 GB DDR4 Ram würde ich 8 GB - 10 GB arc-cache vorschlagen.

 

[ugf]

ECC korrigiert wenn er kann, und wenn der memory-controller nicht kann und es erkennt, dann weiß man wenigstens, was abgeht. Bei non-ecc weiß man es eben oft erst, wenns schon zu spät ist. Downloads gehen nichtmehr, Apps crashen etc. Datenbanken ... uff. Ja, wenns wichtig ist ECC

Aber du hast recht, das "scrub to death" Phänomen (habe ich immer im Hinterkopf), scheint wohl doch nicht oder nicht mehr? oft vorzukommen.
Unbuffered ECC ist halt echt teuer, ich nutze selbst non-ecc. Aber man sollte immer ein waches Auge draufhaben und nicht unbedingt super-wichtige Daten darauf ablegen.

Kann man non-ecc nutzen ? Absolut!
Sollte man es empfehlen ? Eher nicht oder mit klarem Disclaimer.
USV und non-ecc passt irgendwie nicht, dann lieber das geld in ECC stecken oder? Außer es ist ne aktive USV, wobei die vielleicht sogar das homelab "D-lan" killt

Die anderen Punkte von mir waren nur noch Hinweise, bifurcation so explizit hatte ich im Handbuch nicht gefunden, kann gut sein, dass er das kann. Mein damaliges x570 konnte es nicht und das hat mich geärgert =/

 

[ugf]

Funfact:
Ich hab mir son billig nas auf Amazon besorgt, und weil die NAS-GUI einfach schlecht war einfach Proxmox draufgepackt per USB-Stick =)
Der macht jetzt eigentlich nur ZFS (non-ecc ) und seit neustem minio für PBS.
Sollte man das empfehlen? Absolut nicht ! Funktioniert es? Absolut! haha

root@nas /hddtank/s3 # zpool status
  pool: hddtank
 state: ONLINE
  scan: scrub repaired 0B in 02:46:26 with 0 errors on Sun Aug 10 03:10:27 2025
config:

        NAME                                   STATE     READ WRITE CKSUM
        hddtank                                ONLINE       0     0     0
          raidz1-0                             ONLINE       0     0     0
            ata-HGST_HDN726040ALE614_K4JJ12ZB  ONLINE       0     0     0
            ata-HGST_HDN726040ALE614_K4K7VWYB  ONLINE       0     0     0
            ata-HGST_HDN726040ALE614_K4K80MZB  ONLINE       0     0     0
            ata-HGST_HDN726050ALE614_NCGE8GPS  ONLINE       0     0     0
            ata-TPH01204000GB_0_17050034       ONLINE       0     0     0

errors: No known data errors

  pool: ssdtank
 state: ONLINE
  scan: scrub repaired 0B in 00:36:00 with 0 errors on Sun Aug 10 01:00:02 2025
config:

        NAME                                             STATE     READ WRITE CKSUM
        ssdtank                                          ONLINE       0     0     0
          raidz1-0                                       ONLINE       0     0     0
            ata-CT1000MX500SSD1_1813E134415F             ONLINE       0     0     0
            ata-CT1000MX500SSD1_2021E2A55C3B             ONLINE       0     0     0
            ata-Samsung_SSD_860_EVO_1TB_S4X6NF0N119624K  ONLINE       0     0     0
            ata-Samsung_SSD_860_EVO_1TB_S4X6NJ0MC04160M  ONLINE       0     0     0

errors: No known data errors
root@nas /hddtank/s3 # cat /proc/cpuinfo | head
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 92
model name      : Intel(R) Celeron(R) CPU J3455 @ 1.50GHz
stepping        : 10
microcode       : 0x28
cpu MHz         : 2196.480
cache size      : 1024 KB
physical id     : 0
root@nas /hddtank/s3 # time qm list
      VMID NAME                 STATUS     MEM(MB)    BOOTDISK(GB) PID
       100 docker               stopped    4096              32.00 0
       253 unify-controller     running    2048              64.00 2560

real    0m2.211s
user    0m1.964s
sys     0m0.238s
root@nas /hddtank/s3 # free -h
               total        used        free      shared  buff/cache   available
Mem:           7.6Gi       6.3Gi       582Mi        27Mi       1.0Gi       1.3Gi
Swap:          974Mi       974Mi       156Ki
root@nas /hddtank/s3 # arcstat
    time  read  ddread  ddh%  dmread  dmh%  pread  ph%   size      c  avail
21:33:34     0       0     0       0     0      0    0   3.0G   3.0G   282M
root@nas /hddtank/s3 # uptime
 21:34:03 up 117 days, 21:17,  3 users,  load average: 0.26, 0.31, 0.50
root@nas /hddtank/s3 # pveversion
pve-manager/8.4.11/14a32011146091ed (running kernel: 6.8.12-10-pve)

 

[news]

@ugf ja das Mainboard ASRock B550M Pro4 ist einer der letzten mit 6x SATA III und die o.g. Optionen.
Ich hatte mir schon ein ASRock B550M PG Riptide vorgestellt, aber die Verfügbarkeit.

Die GPU kommt in den unteren PCIe 3.0 x16 Slot, darüber ist dann noch der PCIe 3.0 x1 Slot, z.B. für eine 2.5 GBit/s Netzwerkkarte.

Und oben sehen wir den eigentlichen Slot für eine Grafikkarte, der mit PCIe 4.0 x16 an der CPU hängt, durch das Mainboard-Bios kann man diesen auch als 4x4x4x4 konfigurieren.

Und das alles schon mit der kleinen Ryzen 5 3500x CPU!
Ein leichtes ist es noch ein PowerSave Profile mit 45 Watt zu laden und dann die Leistungsaufnahme weiter einzuschränken.

So kann man das System auch als reines Proxmox VE/ NAS betrachten und die CPU Leistung, und damit die Stromaufnahme, weiter eingrenzen.

Edit: Die (meisten) Ryzen 3000 und Ryzen 5000 mit APU sind beschnitten, kein ECC, weniger PCIe Lanes und bei den Ryzen 5000 nur PCIe 3.0 anstatt PCIe 4.0.
Siehe auch die Ausführungen vorher.

 

[ugf]

@ugf ja das Mainboard ASRock B550M Pro4 ist einer der letzten mit 6x SATA III und die o.g. Optionen.
Die GPU kommt in den unteren PCIe 3.0 x16 Slot, darüber ist dann noch der PCIe 3.0 x1 Slot, z.B. für eine 2.5 GBit/s Netzwerkkarte.
Und oben sehen wir den eigentlichen Slot für eine Grafikkarte, der mit PCIe 4.0 x16 an der CPU Hängt, durch das Mainboard-Bios kann man diesen auch als 4x4x4x4 konfigurieren.
Und das alles schon mit der kleinen Ryzen 5 3500x CPU!
Ein leichtes ist es noch ein PowerSave Profile mit 45 Watt zu laden und dann die Leistungsaufnahme weiter einzuschränken.
So kann man das System auch als reines Proxmox VE/ NAS betrachten und die CPU Leistung, und damit die Stromaufnahme, weiter eingrenzen.

Besser geht kaum. Ich war zuletzt auf der Suche und die NUC bzw. verlgeichbare SoC Boards waren viel zu teuer leider!
Habe mir heute ein billig "fertig PC" mit einem 5700U oder 5600H (15W bzw. 45W TDP) geschossen, mal sehen, ob ich damit das NAS pimpen kann, weil das habe ich jetzt etwas ausgereizt. 45W hört sich echt super an, mit den disks board und peripheri ist alles unter 70-80W Top. Das verbrauchen oft allein nur die Lüfter einer Pizzaschachtel.
Private Projekte sind halt immer etwas anders wild