Server Upgrade - Unterstützung/Beratung bei Auswahl der Hardware

[crally]

Hallo zusammen,

bin schon länger aus dem Hardwaredschungel raus und wäre dankbar über Einschätzungen, Beratung und Tips.

Ich plane evtl. meinen Server zu ersetzen. Dazu erstmal derzeitige Randdaten und Nutzungsverhalten:

Fujitsu Primergy TX2450 M1:

Spoiler

• 1x Xeon 2430L V2
• D3099-B12 Mainboard LGA1356
• 96GB DDR3 ECC RAM
• 2x 400GB Intel S3700 SSD im ZFS (ZRAID1) für Proxmox und VM's/CT's
• 2x 1,92TB Intel SSD DC P3520 U.2, PCIe 3.0 x4 - Über PCIe Adapter man zwei x4 Slots angeschlossen und direkt an OMV VM weitergereicht für NAS im Software RAID 1
• 1x 4-Port 1Gbit Netzwerkkarte
• 1x PCIe Coral TPU für Frigate
• 1x USB an APC USV
• 1x USB Zigbee Adapter
• 1x USB SATA HDD für Backups

Genutzte Software:

Spoiler

• 9 -11 VM's
• 8 -12 CT's

Die OPNSense ist wohl die wichtigste VM und managed das WAN, VPN und vier VLAN's. Entsprechend hab ich 5 aktive Ethernet Ports am Server in Nutzung.


Dockge-master ist meine Docker VM. Hier ist vor allem Frigate als NVR Ressourcen-hungrig, da leider noch 2 von 4 Kameras nur einen MJPEG-Stream ausgeben und entsprechend go2rtc die dekodierung über die CPU managen muss. Hier ist der Xeon nicht ideal. Die PCIe Coral TPU ist direkt an die VM und den Docker Container durchgereicht und übernimmt die Objekterkennung auch zuverlässig und problemlos.


Nextcloud ist nur für den Heimgebrauch, aber über Reverse-Proxy schon öffentlich erreichbar. Hier braucht es aber nicht viel Leistung, da eher als CalDAV-Server und automatisches Photo-Backup der iPhones genutzt.


Home Assistant ist natürlich fundamentaler Bestandteil der heimischen Lebensqualität und "wächst" stetig. Hier soll der neue Server künftig auch nach Möglichkeit die lokale Voice Agent Funktion mit KI übernehmen, da ich keinen externen Dienstleister Zugriff auf mein SmartHome geben möchte.


ioBroker dient nur als "Brücke" zu HomeAssistant für von HomeAssistant nicht unterstützte Dienste/Protokolle


OpenMediaVault ist dann entsprechend meine NAS, an derer die beiden PCIe P3520 Platten direkt weitergereicht sind.


Windows wird nur bei Bedarf gestartet und ist dann zwar nicht wirklich flüssig bedienbar aber auch nicht furchtbar...

• ​

Nun ist mein Server schon etwas in die Jahre gekommen, auch wenn er im Grunde zuverlässig läuft. Vor allem saugt sich Frigate hier die meiste Leistung und belastet die CPU enorm. Eine zusätzliche GPU zur Entlastung ist mangels fehlender PCIe-Slots nicht möglich. Hier könnte ich lediglich eine zweite CPU einbauen um einen weiteren PCIe Slot zu haben, aber auch wenn es günstig zu erwerben wäre halt ich es irgendwie nicht für sinnvoll hier noch Geld reinzustecken.

Zudem möchte ich künftig meinem Home Assistant ein bisschen KI Funktionalität bieten mit selbst gehortetem KI-Modell (Klar, wird es nur ein kleines Modell werden können evtl. mithilfe einer Nvidia 3060 12GB über PCIe x16).

Die Festplatten sind leider auch nicht die schnellsten, was man schon merkt, da ich vor allem durch das Schreiben von logs extrem hohes IOPS Aufkommen hab.

Der Server verbraucht derzeit unter normaler Nutzung wie dargelegt ca. 90W. In dem Rahmen möchte ich nach Möglichkeit auch bleiben, tendenziell eher weniger (ohne GPU). Mir ist aber natürlich bewusst, dass eine GPU bei Nutzung das ganze zeitweise deutlich sprengen würde.


Das Budget für ein neues Setup sollte 1000€ nicht überschreiten, gerne auch gebrauchte Hardware.

Ziele:
- min. 96GB ECC Speicher ist für mich essentiell!
- Neue Boot-Laufwerke, z.B. 2x M.2 Firecuda 530 (ohne R) im ZFS-Mirror für Host und VM OS's
- PCIe x16 Graka für eine LLM VM
- Evtl. dedizierte Graka (z.B. GT 1030) oder iGPU von der neuen CPU für Frigate
- Weiterverwendung meine Intel P3520 U.2 Platten (u.U. auch wieder mittels PCIe Adapter)
- Weiterverwendung meiner Quad NIC-Karte
- M.2 Coral TPU muss auch wieder rein, kann aber auch auf USB umgerüstet werden
- Versuchen den Stromverbrauch zu senken, bzw. wenigstens nicht zu erhöhen
- Lautstärke nicht so wichtig
- Tower Design (kein Rack)

Gedanken und Probleme:
- Server Boards und CPU haben meist gute Ausstattung an PCIe Lanes und Anschlüssen, sowie redundante Netzteile und min. Quad-Channel Support. Gebraucht gute Sets zu finden (z.B. Intel Silver 4116 mit 96GB ECC und 800W Platinum NT für rund 500€)
- Consumer Hardware meist gebraucht günstiger, moderner, aber DDR5 ECC ist einfach viel zu teuer -> DDR4 ECC gebraucht gut bezahlbar, aber dann weniger Vorteil zur Server-Hardware
- Consumer Hardware hat meist weniger Lanes, vor Allem die Generationen mit DDR4 ECC Support
- Consumer Hardware ohne redundantes Netzteil (Wäre verkraftbar, Aktuelle Backup-Strategie funktioniert gut, allerdings
- Server Hardware meist stromhungriger als Consumer-HW
- Server Hardware hat proprietäres Design (evtl. werden PCIe-Slots von Grafikkarte überdeckt und unbrauchbar, außer durch Riser Kabel)



Da ich mit meinem Fujitsu Server eigtl. immer zufrieden war, habe ich auf dem Gebrauchtmarkt mal nach einem moderneren Äquivalent gesucht. Dort bekommt man TX2550 M4 relativ günstig. Man findet allerdings sehr wenig Infos darüber, ob das Board Bifurcation unterstützt. Immerhin gibt es einige PCIe Geräte unterzubringen:

- 2x NAS HDD (P3520 U.2) (PCIe x1 Adapter schon vorhanden, evtl. Umstieg auf SFF-8643 zu M.2 Adapter für 25€ je Adapter)
- GPU für Llama (zwar nur ein x16 PCIe Slot belegt, aber Kühler verdeckt evtl. nebenliegende Ports -> evtl. Riser Kabel für weitere Geräte nötig (20-30€)
- GPU für Frigate (praktisch reicht elektr. ein x1 Slot; Entfällt bei CPU mit iGPU)
- Quad-NIC Karte
- Coral TPU (aber für 20€ umrüstbar auf USB)
- Evtl. M.2 Riser Card für 2x Boot-NVME's (Wenn Bifurcation nicht verfügbar, dann Adapter mit mind. ASM2812 Chip für ca. 100€ nötig)

Alternativ können natürlich auch die P3520 Platten als Boot-Laufwerke genutzt werden und ich hol mir einfach Sata-Platten für die NAS. Hier kann ich den Performance-Unterschied schwer einschätzen, da die P3520 ja noch über PCIe 3.0 laufen und moderne M.2 NVME's mit PCIe 4.0 x4 laufen.
SATA-Platten habe ich theoretisch für lau, neue M.2 NVME's müsste ich halt kaufen (ca. 200€ für 2x 1TB)
Zudem laufen auch bei Server-Hardware die M.2 Anschlüsse meist über DMI-Anbindung. Boot-Laufwerke direkt über CPU-Anbindung natürlich schöner, daher so oder so eine Riser-Card sinnvoll und die NAS-Laufwerke über die M.2 Slots anschließen?



Ich hoffe mein Gedankengang ist nachvollziehbar beschrieben und ich freue mich auf Reaktionen. Wichtig ist, dass das Teil zuverlässig läuft, weshalb ich aktuell eher wieder zur gebrauchten Server-Hardware tendiere. Das sollte man für knappe 1000€ hinbekommen mit allen notwendigen Adaptern und Neuanschaffungen...
Aber bin gerne für Ratschläge offen.

 

[mr44er]

Eine komplett fertige Einkaufsberatung kann ich dir nicht liefern, dafür ist das was du willst zu komplex. Aber ich denke zu den einzelnen Punkten kann ich was beisteuern.

Zudem möchte ich künftig meinem Home Assistant ein bisschen KI Funktionalität bieten mit selbst gehortetem KI-Modell (Klar, wird es nur ein kleines Modell werden können evtl. mithilfe einer Nvidia 3060 12GB über PCIe x16).

Wenn das model in den VRAM passt, ist eine x1-Anbindung auch kein Flaschenhals (du brauchst nur ein paar Sekunden mehr um es reinzuschieben, absolut vernachlässigbar). Das sage ich deshalb, weil es anfangs vielleicht absurd wirkt, aber man sorum mit ein paar Risern ziemlich weit kommt. Vor allem, wenn der Boardslot PCIE4.0 ist.
https://aightbits.com/2025/04/15/diy-ai-pcie-considerations-for-multi-gpu-builds/
https://github.com/tinyredinc/paperhub/blob/master/mi50-llm-performance/mi50_llm_performance.md

Und ja, auf jeden Fall willst du ein Board mit bifurcation, das sollten eigentlich alle Boards der letzten fünf Jahre beherrschen, Serverplattformen sowieso. Bei ASUS nennt man das PCIE-RAID, man muss nur gucken, dass man im BIOS möglichst alle und nicht nur einen bestimmten auf bifurcation schalten kann. Reichen am Endpunkt für die Karte x1, genügen billige (mit oder ohne packet switching) x1-Riser auch, die man sonst fürs Mining verwendete. Brauchst du mehr lanes am Endpunkt, kann ich die bifurcated (sind passiv und haben offene Slots) empfehlen: https://riser.maxcloudon.com/de/

Gewöhnlich hat ein Servergehäuse ordentlich Platz innen und du willst einen Tower, aber da gestaltet es sich ohne Sägerei schwieriger Riser fest zu montieren. Noch gar nicht über Hitzestau gesprochen.
War mir irgendwann zu blöd, ich nutze nur noch offene frames wie diese: https://www.ebay.de/itm/314755283307

aber auch wenn es günstig zu erwerben wäre halt ich es irgendwie nicht für sinnvoll hier noch Geld reinzustecken.

Ja, mein Ausschlußkriterium wäre der DDR3.

Server Boards und CPU haben meist gute Ausstattung an PCIe Lanes und Anschlüssen

Korrekt, wenn du jetzt schon mit KI-models experimentierst, solltest du dir viele lanes für die Zukunft bereitstellen...eine zweite oder dritte GPU wirst du dir sicher gönnen wollen. Nichts wäre schlimmer, als wenn du dich dann über mangelnde lanes ärgerst, auch wenn das jetzt noch nicht absehbar ist.

Der Server verbraucht derzeit unter normaler Nutzung wie dargelegt ca. 90W. In dem Rahmen möchte ich nach Möglichkeit auch bleiben, tendenziell eher weniger (ohne GPU). Mir ist aber natürlich bewusst, dass eine GPU bei Nutzung das ganze zeitweise deutlich sprengen würde.

Im Ernst...sei dankbar für zweistellig, das ist nicht die Norm bei größeren Setups. Eine GPU im idle kann ja alleine schon 10W wegsüffeln, egal ob sie ein model im VRAM hält oder nicht. In dem Bereich bleiben sollte aber machbar sein.

Neue Boot-Laufwerke, z.B. 2x M.2 Firecuda 530 (ohne R) im ZFS-Mirror für Host und VM OS's

Als Boot-LW sind die gut genug (wären es auch tatsächlich günstige consumer SATA-SSDs, aber nicht die ganz schäbig billigen!), definitiv nicht für VMs. Da willst du mehr Haltbarkeit oder du bekommst sie sehr günstig und es schmerzt dich ein früher Austausch nicht. Achja und trenne die Aufgabengebiete, eigene BootLW und eigene Laufwerke für VMs. Somit müssen die einzelnen Dinge nicht um IOPS/Haltbarkeit kämpfen.

Evtl. dedizierte Graka (z.B. GT 1030) oder iGPU von der neuen CPU für Frigate

Vorweg, weil du die GT1030 erwähnst: neue Boards wollen eher UEFI-only booten, das ist eine gute Sache und man selbst will das auch so. CSM/legacy ist eher tot und ohne UEFI kein above 4G z.B. Es kann aber Probleme bis Bootverweigerung oder komisches Verhalten geben, wenn die alte GPU kein UEFI-kompatibles VBIOS hat. Nvidia hat ein Flashtool für die alten Baureihen https://www.nvidia.com/en-us/drivers/nv-uefi-update-x64/ , das muss man einmal unter Windows für die GPU durchlaufen lassen, dann ist die GPU mit einem allerletzten Frühling fit für den Einsatz auf einem UEFI-Board. Ältere, die dort nicht gelistet sind, kannst du getrost in die Tonne treten. Generell willst du eher eine iGPU haben für die Proxmox-Ausgabe, da die sich tendenziell schlecht durchreichen lassen, auch weil iGPU VRAM vom BoardRAM abgezwickt wird. Brauchst du passthrough, greife lieber zu einer dedizierten GPU.

Consumer Hardware meist gebraucht günstiger, moderner, aber DDR5 ECC ist einfach viel zu teuer -> DDR4 ECC

Davon abgesehen ist ECC auf Consumerboards meist nur modulintern und somit kein echtes ECC was man erwarten sollte.
https://www.computerbase.de/forum/threads/unterschied-ddr5-und-ddr5-ecc.2211918/#post-29824954

GPU für Frigate (praktisch reicht elektr. ein x1 Slot; Entfällt bei CPU mit iGPU)

Sehe das nicht als praktisch gegeben, eine iGPU haben heißt nicht automatisch, dass sie auch wie gehabt mit passthrough sauber funktioniert. Gehe eher vom Gegenteil aus und schiebe sie wie bereits erwähnt gedanklich mal rein auf die Proxmox-Ausgabe.

 

[crally]

Erstmal super lieben Dank für den sehr ausführlichen Post!

Wenn das model in den VRAM passt, ist eine x1-Anbindung auch kein Flaschenhals...

Stimmt! Guter Punkt.

Und ja, auf jeden Fall willst du ein Board mit bifurcation, das sollten eigentlich alle Boards der letzten fünf Jahre beherrschen, Serverplattformen sowieso. Bei ASUS nennt man das PCIE-RAID, man muss nur gucken, dass man im BIOS möglichst alle und nicht nur einen bestimmten auf bifurcation schalten kann.

Leider find ich bei meinem Favoriten (TX2550 M4) lediglich im BIOS-Change Log dfolgender Vermerk:
"added manual BIOS setting for PCIe bifurcation for 16bit PCIe slots"
Ich verstehe das so, dass lediglich auf den elektr. x16 Ports Bifurkation funktionieren wird, also bei einer CPU nur auf einem Slot. Aber das würde ja tatsächlich reichen, wenn ich die GPU nicht zwangsweise an diesen Port hängen muss. So könnte ich hier mittels Riser-Card bis zu 4 PCIe Festplatten dranhängen und hätte dadurch noch 3 x8 Slots übrig.

Korrekt, wenn du jetzt schon mit KI-models experimentierst, solltest du dir viele lanes für die Zukunft bereitstellen...

Bestärkt mich, den Gedanken an Consumer Hardware zu verwerfen.

Als Boot-LW sind die gut genug (wären es auch tatsächlich günstige consumer SATA-SSDs, aber nicht die ganz schäbig billigen!), definitiv nicht für VMs. ... Achja und trenne die Aufgabengebiete, eigene BootLW und eigene Laufwerke für VMs. Somit müssen die einzelnen Dinge nicht um IOPS/Haltbarkeit kämpfen.

Ja das wäre natürlich optimal... ich kann halt schwer einschätzen wie der Perfomance Unterschied im allgemeinen ist wenn ich neue Platten hole.
Aktuell hab ich ja folgendes Setup:
2x DC S3700 Sata im ZFS-Mirror für Host & VM's
(Read/write der Platten laut Datenblatt = 500 / 460 MBit/s - 4k R/W = 75k/36k IOPS - Latency R/W = 50/70us)

2x P3520 U.2 PCIe 3.0 x4 im Software-RAID 1 an OMV
(Read/write der Platten laut Datenblatt = 2700 / 1800 MBit/s - 4k R/W = 70k/30k IOPS - Latency R/W = 20/20us)

Künftig wäre dann vielleicht sowas sinnvoll:
2x M.2 direkt in M.2 Slots am Board für Host
2x P3520 für die VM's
2x neue HDD's für NAS an Sata on-Board ?

Unsicherheiten hab ich z.B. ob die M.2 Slots am Board über DMI oder direkt an CPU angeschlossen sind -> Viel Recherche ohne Ergebnis
...und in wie fern das überhaupt relevant/spürbar ist...
Zudem -> mehr Platten = Mehr Verbrauch, aber wahrscheinlich verschmerzbar ^^

Vorweg, weil du die GT1030 erwähnst: ....

Danke für den Hinweis! Suche halt was kleines sparsames für Dekodierung...

Davon abgesehen ist ECC auf Consumerboards meist nur modulintern und somit kein echtes ECC was man erwarten sollte.

Dieses ECC-Light war mir bewusst, aber rein Interesse halber: Wird auch nur on-Die ECC genutzt, selbst wenn Board und CPU ECC Unterstützung haben?


Und nochmals ganz großen Dank

 

[mr44er]

"added manual BIOS setting for PCIe bifurcation for 16bit PCIe slots"
Ich verstehe das so, dass lediglich auf den elektr. x16 Ports Bifurkation funktionieren wird, also bei einer CPU nur auf einem Slot. Aber das würde ja tatsächlich reichen, wenn ich die GPU nicht zwangsweise an diesen Port hängen muss. So könnte ich hier mittels Riser-Card bis zu 4 PCIe Festplatten dranhängen und hätte dadurch noch 3 x8 Slots übrig.

Nicht zwangsläufig, aber das Prinzip hast du verstanden Bei den Festplatten/NVMes muss ich aber verneinen. Schau dir die Karte an: https://www.amazon.de/ASUS-unterstützt-Geräte-Intel®-RAID-Plattform/dp/B0863KK2BP
Die muss vollbestückt, also vier NVMes drauf, in einem bifurcated x4x4x4x4 (ergo auch x16 physisch) Slot laufen. Das ergibt auch Sinn, denn pro NVMe brauchst du die anliegende Bandbreite von x4. bifurcated = parallel, packet switched = seriell (Pfui, lahm, will man nicht für exakt dieses Szenario). Steckst du sie in einen physischen x8 und auch so verdrahteten, kannst du nur die ersten beiden ansprechen. Bei x4 nur die erste. Es gibt zwar solche packet switched Karten für NVMes, aber die sind naturgemäß lahm. Stelle dir einen Kopiervorgang von NVMe1 auf NVMe2 vor, die Daten müssen durch den gleichen Flaschenhals.
Superschön wäre es, wenn du mehrere Modi zur Wahl hättest x16 / 2 = x8x8 oder x16 / 4 = x4x4x4x4 und dieses Setting je Port. Steht das nicht explizit dabei, musst du es leider ausprobieren (GPU direkt reinstecken und mit lspci -vv gucken, mit wievielen lanes sie angebunden ist). Hast du nur on/off zur Auswahl ist leider davon auszugehen, dass es nur für den ersten (also der PCIE-Port, der direkt an die CPU gedrahtet ist) gilt, aber dann musst du austesten, ob das dann nun x8x8 oder x4x4x4x4 ist. Wie erwähnt diese PCIE-Karte für vier NVMEs würde im falschen Modus nur die ersten beiden NVMEs ansprechen können und beim bifurcated Riser nur die ersten beiden Ports. Da wurde viel gemeckert, aber es gab auch viele BIOS-Updates die das passend und funktional nachrüsteten. Aber generell nochmal die Erwähnung, dass es nicht so schlimm ist mit der Bandbreite, wenn der Port ein 4.0er ist. Du könntest selbst in einen bifurcated Riser nochmal einen packet switched reinstecken, wenn es wirklich ganz arg knapp wird mit vielen Karten. Es kommt da eigentlich nur drauf an, wie clever du die Bandbreite verteilst und nach den Möglichkeiten runterbrichst.

Bestärkt mich, den Gedanken an Consumer Hardware zu verwerfen.

Ja, auf jeden Fall. Wenn du nur diesen einzigen Server hast, worauf du dich verlassen musst, ist das das einzig sinnvolle. Es sähe anders aus, bei einem Zoo ab fünf Geräten oder so, wo man schon durch die Anzahl der Kisten "Verteilung" hat.

Ja das wäre natürlich optimal... ich kann halt schwer einschätzen wie der Perfomance Unterschied im allgemeinen ist wenn ich neue Platten hole.
Aktuell hab ich ja folgendes Setup:
2x DC S3700 Sata im ZFS-Mirror für Host & VM's
(Read/write der Platten laut Datenblatt = 500 / 460 MBit/s - 4k R/W = 75k/36k IOPS - Latency R/W = 50/70us)

2x P3520 U.2 PCIe 3.0 x4 im Software-RAID 1 an OMV
(Read/write der Platten laut Datenblatt = 2700 / 1800 MBit/s - 4k R/W = 70k/30k IOPS - Latency R/W = 20/20us)

Also das sind jetzt aus heutiger Sicht keine Raketen mehr, aber schäbig sind die nicht. Ich weiß ja auch nicht, ob du die Performance wie im Datenblatt gemessen und anliegen hattest? SSDs performen mit ihrer nativen sector size (4096bytes, deswegen auch 4k RW ) am besten, aber dann muss deren namespace und alles weitere darauf aufbauende wie die Formatierung so eingerichtet sein. Ist das derzeit so?
Mein Vorschlag: die 2x DC S3700 nimmst du recyclet als mirror ausschließlich für proxmox. Bei der Gelegenheit die neueste fw flashen, namespace neu anlegen mit 4k und passend formatieren. Da kann dann proxmox beliebig drauf rumsägen (logs, updates etc. und hat davon für sich diese Bandbreite reserviert).
Für die VMs nimmst du neue NVMes (wenns Budget knapp wird die Firecuda 530/540, die sind sehr gut was die consumer betrifft, aber wirklich empfehlen würde ich da aktuelle aus der Enterprise-Klasse z.B. Micron 7450). Auch da direkt neueste fw drauf, namespace + Formatierung 4k. Damit haben deine VMs dann davon die volle Bandbreite anliegen und das merkst du auf jeden Fall positiv ohne es genau benchen zu müssen.
Das mit OMV kannst du ja mal so lassen mit den 2x P3520, solange die noch Haltbarkeit haben und einen Neukauf auf später hinten raus verschieben.

Unsicherheiten hab ich z.B. ob die M.2 Slots am Board über DMI oder direkt an CPU angeschlossen sind -> Viel Recherche ohne Ergebnis

Leiterbahnen nachfahren und gucken
Meist hängt nur der erste (wie der PCI-E Port) an der CPU, die anderen am Chipset. Hat der erste PCIE5.0 und die andern nur 4.0 ist das eindeutig so.

..und in wie fern das überhaupt relevant/spürbar ist...

Ich habe lieber eine flotte NVMe v4/5 egal, mit über 100k IOPS an einem PCI3-Port "Flaschenhals" als andersrum und darüberhinaus musst du die workload ja auch erstmal haben.

Zudem -> mehr Platten = Mehr Verbrauch, aber wahrscheinlich verschmerzbar ^^

Bei NVMes wurscht, 1-2Watt pro und dann gehen die ja noch idle. Problematisch sind dann eher die Drehplatten, da musst du mit 7-9W rechnen, wenn sie laufen.

Danke für den Hinweis! Suche halt was kleines sparsames für Dekodierung

Da wärst du mit einer Intel ARC für 100€ gut bedient, die können auch schon AV1.

Dieses ECC-Light war mir bewusst, aber rein Interesse halber: Wird auch nur on-Die ECC genutzt, selbst wenn Board und CPU ECC Unterstützung haben?

Ja, um "volles" ECC zu haben, müssen es CPU, Board und RAM können. Hat eins davon es nicht -> Ende Gelände.

 

[crally]

Die muss vollbestückt, also vier NVMes drauf, in einem bifurcated x4x4x4x4 (ergo auch x16 physisch) Slot laufen.....

Ok, got it. Ist denn bei jeder dieser Karten grundsätzlich so?
Da ich noch nicht genau weiß welche Aufteilung des PCIe Slots möglich ist, bleibt nur hoffen. Wenn z.B. x8x4x4 möglich ist, könnte ich *sowas hier* nehmen und 2xNVMe anschließen und hätte noch einen x8 Port "übrig", korrekt? Hab ich jetzt nicht vor, da es etwas zuuu günstig aussieht, aber rein interessehalber.

Also das sind jetzt aus heutiger Sicht keine Raketen mehr, aber schäbig sind die nicht. Ich weiß ja auch nicht, ob du die Performance wie im Datenblatt gemessen und anliegen hattest? SSDs performen mit ihrer nativen sector size (4096bytes, deswegen auch 4k RW ) am besten, aber dann muss deren namespace und alles weitere darauf aufbauende wie die Formatierung so eingerichtet sein. Ist das derzeit so?

Ich denke nicht, weiß es aber auch nicht. Tatsächlich nie drum gekümmert Werde ich wohl demnächst drauf achten

Mein Vorschlag: die 2x DC S3700 nimmst du recyclet als mirror ausschließlich für proxmox. Bei der Gelegenheit die neueste fw flashen, namespace neu anlegen mit 4k und passend formatieren. Da kann dann proxmox beliebig drauf rumsägen (logs, updates etc. und hat davon für sich diese Bandbreite reserviert).
Für die VMs nimmst du neue NVMes (wenns Budget knapp wird die Firecuda 530/540, die sind sehr gut was die consumer betrifft, aber wirklich empfehlen würde ich da aktuelle aus der Enterprise-Klasse z.B. Micron 7450). Auch da direkt neueste fw drauf, namespace + Formatierung 4k. Damit haben deine VMs dann davon die volle Bandbreite anliegen und das merkst du auf jeden Fall positiv ohne es genau benchen zu müssen.
Das mit OMV kannst du ja mal so lassen mit den 2x P3520, solange die noch Haltbarkeit haben und einen Neukauf auf später hinten raus verschieben.

So in der Art hab ich mir das gedacht, auch wenn die Micron mir dann zu Beginn tatsächlich zu teuer sind und sonst das Budget sprengen.

Leiterbahnen nachfahren und gucken

Ist wahrscheinlich gar nicht mal so relevant, da der präferierte Server eh nur PCIe 3.0 hat

Da wärst du mit einer Intel ARC für 100€ gut bedient, die können auch schon AV1.

Hab ich tatsächlich auch schon auf der Beobachtungsliste. Wahrscheinlich letztlich einfacher, als mit Riser Kabeln im Server zu hantieren...



Klingt das hier nach einem Plan? :



Später kann ich dann mal einen X16 zu 4x M.2 Adapter holen und auch dem Host NVME's gönnen. Wenn dann doch im BIOS auch andere Slots bifurkierbar sind, kann ich ja ausweichen.

Edit: jetzt hatte ich irgendwie Intel Nuc statt Arc gelesen und auf einen Minirechner ala N100 getippt. Eine Arc ist natürlich auch möglich. Ich brauch ja keinen Videoausgang, das Teil kann im Server baumeln solange es den Liftstrom nicht zu arg stört. Mal sehen was sich günstiger kommt. Derzeit läufts ja auch irgendwie mit CPU, also keine Not.

 

[mr44er]

Ok, got it. Ist denn bei jeder dieser Karten grundsätzlich so?

Wenn es bifurcated-Karten (oder im ASUS-Sprech PCIE-RAID) sind, dann ja. Mit dem Vorwissen jetzt schaust du mit ganz anderem Blick auf solche Karten. Steckst du so eine Karte in einen non-bifurcated x16-Slot, wird trotzdem nur die erste NVMe sichtbar sein als x4. Manchmal gibts noch eine RAID-Funktion direkt auf der Karte, da kann man die vier NVMes von der Karte verwalten/zusammenfassen lassen und hat das den Speicherblock als HardwareRAID (via x4) anliegen. Das mag in Notsituationen klar gehen, aber damit verpuffst du eben viel Bandbreite und holst dir alle Nachteile eines HW-RAIDs ins Haus, die man besser mit einem SW-RAID umschifft.
Siehst du einen dicken Chip von Asmedia ASMx irgendwas oder ähnlich, ist es eine Karte mit packet switch.

Wenn z.B. x8x4x4 möglich ist, könnte ich *sowas hier* nehmen und 2xNVMe anschließen und hätte noch einen x8 Port "übrig", korrekt?

Ja, korrekt. Aber nur, weil sie an einen weiteren Abgang gedacht haben. Höhentechnisch bekommst du damit aber wahrscheinlich Probleme, wenn du full height nochmals in einem normalen Gehäuse aufstecken willst.

Hab ich jetzt nicht vor, da es etwas zuuu günstig aussieht, aber rein interessehalber.

Die sind günstig, weil bifurcation passiv funktioniert. Hättest du genug dünne Käbelchen und übertriebenen Autismus gepaart mit Langeweile...es würde funktionieren Anhand der Rezensionen würde ich auch davon ausgehen, dass das Ding hält, was es verspricht.

Ich denke nicht, weiß es aber auch nicht. Tatsächlich nie drum gekümmert Werde ich wohl demnächst drauf achten

Jup, gratis Performance mit Lerneffekt kann man immer mitnehmen.

Ist wahrscheinlich gar nicht mal so relevant, da der präferierte Server eh nur PCIe 3.0 hat

Ich würde mindestens einen mit 4.0 picken (welches es ja jetzt auch schon 8 jahre gibt), PCIE3.0 wäre bei mir Ausschlußkriterium wie DDR3. Du hast sonst den Flaschenhals ziemlich schnell an diesem root-Port. Natürlich kann ich dich nicht zwingen und wenn du das auf Kante durchrechnest, kann das reichen. Zukunftssicher ist es halt nicht, weil Verschnitt durch Aufsplitten bei 3.0 richtig weh tun kann, ab 4.0 dann eher nicht.
https://www.techradar.com/computing/computing-components/pcie-lanes-explained
https://www.rfwireless-world.com/terminology/pcie-2-0-vs-3-0-vs-4-0-vs-5-0-comparison

Klingt das hier nach einem Plan? :

Ja, aber verwirf das mit dem N100, die Dinger sind broken by design.

Post in thread 'Netzwerkproblem mit Proxmox PVE 9.06'

Sep 7, 2025

Hatte übersehen, dass es ein N100 ist.
Falls das nochmal Probleme bereitet, hilft das vllt. weiter: https://www.bsdforen.de/threads/acpi-zombie.37419/post-343435

• mr44er

Post in thread 'sporadische Reboots'

Sep 7, 2025

Vielleicht hilfts:

https://www.bsdforen.de/threads/acpi-zombie.37419/post-343435

• mr44er

• 

Und falls du irgendwie eine Nvidia mit 16GB aus der Reihe oder besser bekommen kannst, bevorzuge diese. 12GB ist so eine halbgare Größe für models, da rennt man oft gegen die Wand.

 

[crally]

Ich würde mindestens einen mit 4.0 picken

Hmm... Hast du da konkrete Empfehlungen? Es scheint schwierig mit Serverhardware damit im Budget zu bleiben

Edit:
Praktisch bekommt man ein B550 Board mit Ryzen 7 3700X und 128GB ECC RAM zusammen locker für 500€. Wenigstens einen Port hat man dann mit PCIe 4.0
Da ist dann natürlich noch nichts anderes dabei...

Könnte man das redundante Netzteil aus meinem jetzigen TX2450 M1 da anschließen, dann wäre das natürlich toll, aber das wird wohl nix.
Somit bliebe dann nur, alles neu zu besorgen bzw. nach gebrauchten fertigen PC's zu suchen.

Wäre das denn eine Alternative, trotz nur 24 PCI-Lanes ... :/ ?

 

[mr44er]

Bin mit Preisen derzeit gar nicht aktuell.
Wie schlimm übers Budget würde es denn werden?
Ich will dich auf jeden Fall davor warnen, dass wenn du jetzt schon Geld ausgibst, du dich nicht wieder in zwei Jahren oder früher darüber ärgerst, damals kein PCIE4 genommen zu haben.

 

[mr44er]

Praktisch bekommt man ein B550 Board mit Ryzen 7 3700X und 128GB ECC RAM zusammen locker für 500€. Wenigstens einen Port hat man dann mit PCIe 4.0
Da ist dann natürlich noch nichts anderes dabei...

Und da wiederum musst du penibel mit den lanes rechnen, weil sie auf der Consumer-Plattform limitiert sind. Ist alles nicht einfach.

Netzteil aus meinem jetzigen TX2450 M1 da anschließen

Kannst knicken, die sind proprietär bekabelt.
Edit, solltest du vielleicht wissen: Die Primergys haben bei den RAM-Modulen vendor lock. Dh. der RAM-code muss auf deren whitelist stehen. Steckt man 0815-RAM rein, piepsen sie nur doof und das wars.

Somit bliebe dann nur, alles neu zu besorgen bzw. nach gebrauchten fertigen PC's zu suchen.

Wäre das denn eine Alternative?

Gegen refurbished Serverhardware vom Händler mit Garantie spricht nichts, aber ich müsste mich mal umgucken um halbwegs reinzukommen.

 

[mr44er]

Ok, gerade mal durchgecheckt...1000€ Budget mit PCIE4 reicht vorne und hinten nicht, auch nicht bei der Epyc/Threadripper-Plattform.

Mit dem https://www.intel.de/content/www/de...ssor-16-5m-cache-2-10-ghz/specifications.html bekommst du immerhin 48 lanes.

Wäre das denn eine Alternative, trotz nur 24 PCI-Lanes

Nach 2 NVMes bist du schon bei nur noch 16 lanes und der SATA-Controller usw. braucht auch welche. Das gäbe dann auf der Seite Gefriemel.

Da ist der TX2550 M4 mit dem 4116 schon nicht verkehrt oder mit anderen Worten...es ist nicht ideal und kein Totalschaden mit PCIE3.0, eher das kleinere Übel mit Blick auf den derzeitig ungünstigen Zeitkaufpunkt.

 

[crally]

Ich lass es mir mal durch den Kopf gehen. Denke zwar nicht, dass ich in Zukunft die Leistung wirklich brauche, aber man weiß ja nie...

Ich danke dir jedenfalls bis hierher schonmal für die wirklich lehrreichen Antworten und deine Zeit

 

[mr44er]

Denke zwar nicht, dass ich in Zukunft die Leistung wirklich brauche, aber man weiß ja nie...

Das ist auch nicht, wo ich das Problem sehe...auch nicht bei der Rohleistung. Sondern eher so an den Fall...du musst aufsplitten mit risern, sei es auch nur platzbedingt, steckst dann deine quadnic als Endpunkt in einen x1 und selbst die NIC läuft dann gedrosselt...wäre scheiße.
Gleiches Spiel mit irgendner anderen Karte. Ich raff das in der Beschreibung https://www.fujitsu.com/global/products/computing/servers/primergy/tower/tx2550m4/ auch nicht so wirklich, wie die Ports bei nur einer CPU geschaltet werden. Sehe ich das richtig bei einer CPU, dass das Board dann einmal x16 und dreimal x8 freigibt? Die übrigen 8 lanes dann auf iGPU und SATA-Controller kämen zumindest rechnerisch hin.

Du müsstest eigentlich mal aufm Notizzettelchen zusammenrechnen, welche Karten und Krempels was benötigen. Physische lanes, sowie elektrische und die benötigte Bandbreite und das dann wirklich mal gedanklich einstecken, auf Engpässe prüfen.

 

[crally]

https://www.fujitsu.com/global/products/computing/servers/primergy/tower/tx2550m4/ auch nicht so wirklich, wie die Ports bei nur einer CPU geschaltet werden. Sehe ich das richtig bei einer CPU, dass das Board dann einmal x16 und dreimal x8 freigibt? Die übrigen 8 lanes dann auf iGPU und SATA-Controller kämen zumindest rechnerisch hin.

So verstehe ich das auch.
Ich habe auch gesehen, dass die beiden M.2 Slots auf dem Board nur SATA Anschlüsse sind, keine PCIe.

Demnach wäre vielleicht doch meine erste Idee sinnvoll:
x16 Slot mit *diesem* Adapter belegen und die beiden P3520 1,92TB mit *diesen* Adaptern anklemmen und für die VM's nutzen. Zusätzlich die zwei neuen 1TB M.2 NVME's für den Host. Dann wären schonmal 16 Lanes für Host OS und VM's weg.
Dann für die NAS Platten zwei neue SATA anschaffen... Sprengt zwar doch wieder das Budget, aber immerhin schonmal ein Lösungsansatz

Wegen der GPU für Llama check ich mal die Machbarkeiten mit ner Intel Arc A770 16GB oder RX 9060 16GB, auch wenn das hier entgegen den Nvidia Karten kein "out-of-the-box" wird...
Mehr RAM, heißt weniger Last auf dem PCIe Bus, also verkraftbar, wenn ich sie an einen x8 Slot hänge.

Die Quad-NIC häng ich auch erstmal an einen x8 Slot

Und vielleicht eine kleine Intel Arc A310 fürs dekodieren an einen x8

Wären 40 Lanes "physisch blockiert"

Die Coral TPU rüste ich auf USB um, welche sich dann die Bandbreite mit den beiden NAS-Platten teilt.


Edit:
Hab tatsächlich in einem manual vom BIOS (allerdings D3302-RX200S8) folgendes gefunden:

Spoiler

Das korrekte Interpretieren, ob nun auch die anderen Ports bifurkierbar sind fällt mir zwar schwer, aber aussehen tut es eigentlich ganz gut.
Ich denke es kommt auf einen Versuch an, ob der TX2550 das auch so kann. Hab mir mal den Server bestellt und probier das einfach mal. Nach der dann erlangten Erkenntnis werde ich mich um eine sinnvolle Aufteilung der Lanes kümmern

 

[mr44er]

Bei der GPU beißt sichs irgendwie, fürs decoden/3d-rendering willst du eher mehr Bandbreite, wenn nicht sogar die vollen x16...müsste man jetzt mal ausprobieren, wie sich das in den fps niederschlagen würde (auch sind das ja schon PCIE4.0-Karten). Beim inferencing reichts ja mit nem x1.
Reicht das alles nicht, müsste man eine zweite CPU ausprobieren und wie schlimm die zum Verbrauch beitragen würde.

die beiden P3520 1,92TB mit *diesen* Adaptern anklemmen

Die Fujitsus kommen oft mit einem CP400i https://media.gekko-computer.de/images/Shop1600px/50020174_2.jpg daher, die Anschlüsse müssten ja auch passen?

Wegen der GPU für Llama check ich mal die Machbarkeiten mit ner Intel Arc A770 16GB oder RX 9060 16GB, auch wenn das hier entgegen den Nvidia Karten kein "out-of-the-box" wird...

Alternativ: https://www.bsdforen.de/threads/ki-in-der-freien-wildbahn.37429/post-343566

 

[crally]

Bei der GPU beißt sichs irgendwie, fürs decoden/3d-rendering willst du eher mehr Bandbreite, wenn nicht sogar die vollen x16...

Nee, was, wie?
Ich versuche halt lediglich mit so wenig Adaptern wie möglich auszukommen. Wenn ich dabei erstmal Lanes verschenke ist das ja nicht schlimm, solange ich sie auch gerade nicht brauch. Aufsplitten kann man ja später immer noch

Mit "physisch blockiert" meinte ich halt, dass die Lanes z.T. halt nicht mehr nutzbar sind, da sie eben verbaut sind. Das heißt aber ja nicht, dass man sie nicht irgendwann mittels riser cards wieder nutzbar machen kann.

Alternativ: https://www.bsdforen.de/threads/ki-in-der-freien-wildbahn.37429/post-343566

Ich schau mal, ob ich nicht doch wenigstens in eine 4060 Ti mit 16GB investiere. Die bekommt man mit viel Glück für 300


Edit:
Ah warte, jetzt hab ich's verstanden. Du meinst, ich solle möglichst schauen, dass die Dekodierkarte mit viel Bandbreite angeschlossen wird... got it

Dann kann ich ja mal schauen, was das BIOS so her gibt. Wenn ich auf allen Ports bifurkieren kann, könnte ich z.B.:
- zwei X8 Slots nehmen für die 4 NVME's mit jeweils x4 Speed.
- Einen weiteren x8 Slot splitten und einmal die Quad-NIC Karte sowie die Llama-Karte mit jeweils x4 Speed anbinden.

Dann wäre der x16 Port noch komplett frei für die dekodierkarte

 

[mr44er]

Nee, was, wie?

https://www.techpowerup.com/review/nvidia-geforce-gtx-1080-pci-express-scaling/24.html
Ok, doch nicht so schlimm wie ich mir das vorgestellt habe.

Mit "physisch blockiert" meinte ich halt, dass die Lanes z.T. halt nicht mehr nutzbar sind, da sie eben verbaut sind. Das heißt aber ja nicht, dass man sie nicht irgendwann mittels riser cards wieder nutzbar machen kann.

Achso, ja korrekt.

Ich schau mal, ob ich nicht doch wenigstens in eine 4060 Ti mit 16GB investiere. Die bekommt man mit viel Glück für 300

GPUs kaufen ist derzeit einfach die Hölle.

 

[mr44er]

Das korrekte Interpretieren, ob nun auch die anderen Ports bifurkierbar sind fällt mir zwar schwer, aber aussehen tut es eigentlich ganz gut.
Ich denke es kommt auf einen Versuch an, ob der TX2550 das auch so kann. Hab mir mal den Server bestellt und probier das einfach mal. Nach der dann erlangten Erkenntnis werde ich mich um eine sinnvolle Aufteilung der Lanes kümmern

Oho....das schaut super aus! Am besten gleich BIOS von dem Ding flashen für beste Startvoraussetzungen.

 

[crally]

Nochmal eine Frage zu den NVMe... Wären hier auch Samsung PM983 eine Alternative zu den doch sehr teuren Micron? Immerhin auch Cache und PLP an Board sowie eine solide TBW.
Die würde ich dann im ZFS für die VM's nutzen wollen

 

[mr44er]

Samsung PM983 eine Alternative

Wahrscheinlich, aber richtig gut kann ich dir zu dem Modell nichts sagen, da müsstest du hier mal nach Beiträgen von anderen suchen. Bei Micron weiß ich wenigstens, dass ich das firmware-binary bekomme und auch unter Proxmox direkt flashen kann. Bei Samsung ist das vom Hörensagen nicht so gut (der Wizard/Magician? oder wie das gerade heißt, lüppt nur unter Windows), sofern man überhaupt firmware bekommt. Kann aber auch sein, dass es für die zivilen Versionen besser ist, bei den gebrauchten aus Datacentern ist das eher die Hölle (ohne Wartungsvertrag und den bekommt Otto Normalsterblich nicht).
Ich hab hier viel geuppt, mir hat jemand seine mühsam zusammengesuchte Sammlung zukommen lassen: https://files.hddguru.com/download/Firmware updates/Samsung/SSD DRIVES/

NVMes nach "Firmwareverfügbarkeit" als Kaufentscheidung einfließen lassen mag etwas seltsam wirken, aber da macht jeder eine andere Erfahrung. Da gehts auch nicht darum, das letzte Quäntchen Leistung herauszuholen, sondern Handlungsbedarf falls in der firmware ein timebug schlummert aka nach x-Laufstunden irreparable Selbstzerstörung und das wäre nicht das erste Mal. Als Tip kann ich dir noch anraten, dass du für einen mirror einfach zwei verschiedene NVMes (Modelle oder auch Hersteller) der ungefähr gleichen Leistungsklasse benutzt. Damit verringerst du definitiv Probleme wie Ausfälle zur gleichen Zeit.

Achja und denke an Kühlung, Enterprise-NVMes die ein paar Pferdchen auf die Straße bringen wollen, werden heiß. Der Primergy dürfte zwar ordentlich flow innen haben, aber du solltest sie nicht ohne Kühlblock betreiben. Deswegen hat die ASUS-Karte einen Quirl drauf, damit sich das nicht staut wenn die eng zusammensitzen. https://www.amazon.de/dp/B08L5F2921 <- sowas z.B. reicht, der 2280er passt auch auf 22100er Länge, solange die hot spots bedeckt sind. Den Lüfter davon kannst du direkt wegwerfen, die fallen nach 2-3 Monaten aus.

 

[Johannes S]

Nochmal eine Frage zu den NVMe... Wären hier auch Samsung PM983 eine Alternative zu den doch sehr teuren Micron? Immerhin auch Cache und PLP an Board sowie eine solide TBW.
Die würde ich dann im ZFS für die VM's nutzen wollen

Relevante Details sind power-loss-protection ( plp ) und DWPD, da kann man bei Geizhals nach filtern und mal schauen, ob da die von dir ausgewählten Samsungmodelle auftauchen:

https://geizhals.de/?cat=hdssd&xf=7161_Power-Loss Protection&promode=true

Warum man das haben will, wurde mal ausführlich diskutiert ( Ton war allerdings leider am Ende etwas entglitten, ich war da auch nicht unschuldig dran), aber das ändert ja nichts an den dargelegten Fakten:

F

Thread 'Powerloss Protection (PLP) Mythos'

Nov 5, 2024

Ich habe mich früher schon gefragt, warum man eigentlich eine Batterie für einen Raidcontroller Cache braucht, wenn man denn 2 Netzteile und 'ne USV hat. Das man also ohne BBU den Cache nicht verwenden kann, fand ich damals schon dämlich.

Hier im Forum wird immer wieder betont, wie wichtig PLP bei SSDs ist, weil man dadurch deutlich mehr Performance bekommt. Ich habe mich damals schon gefragt, was PLP denn mit Performance zu tun hat. Da ich mich aber nicht auskenne, habe ich die Aussage einfach übernommen. Jetzt bin durch die horrenten Preise zu PLP SSDs wieder über die Frage...

• floh8
• zfs performance
• Replies: 56
• Forum: Proxmox VE (Deutsch/German)

Da weiß man dann, nach welchen Modellen man bei ebay und Co suchen möchte

Generell gilt: Höhere DWPD ist besser ( hält länger), ich habe aus Budgetgründen im Homelab aber auch "nur" gebrauchte Samsung mit relativ kleiner DWPD ( <= 1), ist immer noch besser als Consumer-SSDs