Server Upgrade - Unterstützung/Beratung bei Auswahl der Hardware

[crally]

Mit meinen Intel Platten bin ich derzeit ja auch mehr als zufrieden. Die Dinger habe ich auch gebraucht gekauft und sie laufen nun schon 4-5 Jahre bei mir im Dauerbetrieb. Klar, die Laufzeit ist schon langsam aber sicher ein Grund zum Austausch...

Spoiler: S3700 Nr. 1

Grunddaten​

• Power-On Hours (ID 9): 75.343 h → entspricht ca. 8,6 Jahren Dauerbetrieb
• Power Cycle Count (ID 12): 340 → wenige Neustarts im Verhältnis zur Laufzeit
• Unsafe Shutdowns (ID 174/192): 313 → nicht dramatisch, aber sollte man im Auge behalten

---

Zustand / Zuverlässigkeit​

• Reallocated Sectors (ID 5): 0 → keine defekten Sektoren
• Pending Sectors (ID 197): 0 → keine schwebenden Fehler
• CRC Error Count (ID 199): 0 → keine Übertragungsprobleme
• Reported Uncorrect (ID 187): 0 → keine nicht korrigierbaren Fehler

---

Nutzung / Abnutzung​

• Host Writes (ID 225/241): 11.905.795 × 32 MiB ≈ ~364 TB geschrieben
• Host Reads (ID 242): 15.767.049 × 32 MiB ≈ ~482 TB gelesen
• Media Wearout Indicator (ID 233): 97 (100 = neu, 0 = am Ende) → nur ~3 % Verschleiß
• Workload Media Wear Indicator (ID 226): 3644 → interner Zähler, aber Werte sind stabil

---

Temperatur​

• Aktuell (ID 194): 27 °C (sehr gut)
• Case Temp (ID 190): 16 °C (Min), 32 °C (Max)

Spoiler: S3700 Nr. 2

Grunddaten​

• Power-On Hours (ID 9): 77.572 h → ca. 8,9 Jahre Dauerbetrieb
• Power Cycle Count (ID 12): 935 → normale Anzahl Neustarts
• Unsafe Shutdowns (ID 174/192): 311 → nicht ungewöhnlich für Rechenzentrumsumgebungen

---

Zustand / Zuverlässigkeit​

• Reallocated Sectors (ID 5): 0 → keine defekten Sektoren
• Pending Sectors (ID 197): 0 → keine offenen Schreib-/Lesefehler
• CRC Errors (ID 199): 0 → stabile Verbindung
• End-to-End Errors (ID 184): 0 → Datenpfad sauber

---

Nutzung / Abnutzung​

• Host Writes (ID 225/241): 11.979.025 × 32 MiB ≈ ~366 TB geschrieben
• Host Reads (ID 242): 17.591.476 × 32 MiB ≈ ~538 TB gelesen
• Media Wearout Indicator (ID 233): 97 (100 = neu, 0 = Ende) → ~3 % Verschleiß
• Workload Media Wear (ID 226): 3695 → interner Zähler, normal

---

Temperatur​

• Aktuell intern (ID 194): 26 °C → sehr gut
• Case Temp (ID 190): 15 °C (Min) / 31 °C (Max) → keine thermischen Probleme

Spoiler: P3520 Nr. 1

Grunddaten​

• Modell: Intel DC P3520 2 TB, NVMe (U.2)
• Firmware: MDV10291
• LBA Format: 4096 B

---

Zustand / Zuverlässigkeit​

• SMART Status: PASSED
• Critical Warnings: 0 (keine Fehler)
• Media/Data Integrity Errors: 0
• Error Log Entries: 0

→ Laufwerk ist fehlerfrei.

---

Nutzung / Abnutzung​

• Power-On Hours: 57.103 h → ca. 6,5 Jahre Dauerbetrieb
• Power Cycles: 308 → wenige Neustarts, typisch für Serverbetrieb
• Unsafe Shutdowns: 0 → immer sauber heruntergefahren
• Percentage Used: 13 % → noch ~87 % Restlebensdauer
• Available Spare: 98 %
• Daten geschrieben: 1.039.280.763 Units ≈ 532 TB
• Daten gelesen: 567.833.296 Units ≈ 290 TB

Zum Vergleich:
Die Intel P3520 (2 TB) hat eine Spezifikation von ~3,7 PBW.
→ 532 TB = ~14 % Verbrauch → passt perfekt zu den 13 % „Percentage Used“.

---

Temperatur​

• Aktuell: 19 °C → optimal

---

Spoiler: P3520 Nr. 2

Grunddaten​

• Modell: Intel DC P3520 2 TB (Enterprise NVMe)
• Schnittstelle: PCIe NVMe, U.2
• Firmware: MDV10291
• Formatiertes LBA: 4096 Bytes

---

Zustand / Zuverlässigkeit​

• SMART Status: PASSED
• Critical Warnings: 0 (keine Fehler)
• Media/Data Integrity Errors: 0 → keinerlei Datenfehler
• Error Log Entries: 0 → bisher fehlerfrei

---

Nutzung / Abnutzung​

• Power-On Hours: 48.965 h → ca. 5,6 Jahre Dauerbetrieb
• Power Cycles: 202 → sehr wenige Neustarts
• Unsafe Shutdowns: 0 → sauberes Abschalten
• Percentage Used: 12 % (Wear-Level-Indikator, bei 100 % am Ende)
• Available Spare: 98 % (noch Reservezellen verfügbar)

Heißt: Die SSD ist erst ~12 % ihres Lebenszyklus verbraucht.

• Daten geschrieben: 987.993.675 Units = ~505 TB
• Daten gelesen: 546.267.356 Units = ~279 TB

Bei 2 TB Kapazität und typischen DWPD-Ratings liegt die TBW-Spezifikation für die Intel P3520 (2 TB) bei ca. 3,7 PBW.
→ 505 TB sind also nur ~13–14 % davon. Passt perfekt zu „12 % Used“.

---

Temperatur​

• Aktuell: 19 °C → exzellent (Server-Umgebung, aktiv gekühlt)

Ich habe mir nun zwei PM983 besorgt. Mal schauen... Backups hab ich ja zur Not immer.

Jetzt muss ich mir mal überlegen wie ich letztlich Umziehe mit möglichst wenig Down-time...

 

[mr44er]

Klar, die Laufzeit ist schon langsam aber sicher ein Grund zum Austausch...

Überbewertet, Ich hab Festplatten laufen, die haben mittlerweile über 100000h...if it dies, it dies. Wofür hat man denn Redundanz und Backups?

 

[crally]

Für die Nachwelt oder andere Interessierte:
Der Fujitsu Primergy TX2550 M4 bzw. das Mainboard D3386-A12 unterstützt tatsächlich nur auf den x16 Ports Bifurcation. Allerdings auf allen 3 Ports. Wenn also eine 2. CPU installiert ist, können insgesamt auch alle 3 Ports verwendet werden, sonst nur einer. Getestet mit aktuellstem BIOS V5.0.0.12 R1.64

So, nun hab ich mir Adapter bestellt und verbleibe wie folgt:
2x SATA S3700 Platten direkt ans Mainboard -> Proxmox OS
x16 PCIe Adapter zu 4x M.2 -> 2x PM983 für VM's & 2x P3520 für NAS
x8 Port für Quad Nic

Bleiben noch zwei x8 Ports für die Grafikkarten, die Dekodier-GPU muss dann per x8 Riser Kabel irgendwo anders hin aufgrund der Platzverhältnisse.

Wenn die beiden PM983 und die Adapter ankommen kann umgezogen werden. Hier ists nur blöd, dass mein alter Server iim Legacy-Modus läuft. Die OS-Platten also einfach an den neuen Server hängen wird wohl nicht gehen, wenn ich da UEFI-Boot nutzen will. Mein Plan war nun:

1. SATA's und neue NVME in den neuen server im legacy mode booten.
2. ZFS auf den NVME's einrichten und die VM's dorthin migrieren.
3. Nun läuft auf den SATA's nur noch proxmox -> Das irgendwie auf ne USB-HDD Zwischen-Backupen
4. Neuinstallation auf den SATA's im UEFI Modus
5. Backup auf das frisch installierte Proxmox zurückspielen

Klingt das irgendwie plausibel oder denk ich zu kompliziert? Für Punkt 3, könnte ich theoretisch einen alten N3150 wieder zum Leben erwecken und temporär PBS installieren...

 

[mr44er]

Klingt das irgendwie plausibel oder denk ich zu kompliziert?

Klingt zu kompliziert. Während der jetzige läuft -> VMs auf ne USB-HDD schieben. Alle disks umbauen, danach firmware von allen flashen, namespaces auf 4k sofern möglich, dann mit Punkt 4 weiter.

 

[crally]

VMs auf ne USB-HDD schieben.

Backups mach ich ja eh schon täglich und die werden auf eine USB-HDD geschrieben. Die müssten doch reichen und ich stell einfach die Backups im neuen System wieder her und weise denen beim restore direkt das neue NVMe-ZFS zu, richtig?

Aber wie mach ich ein Backup von Proxmox VE selbst? Einfach die /etc Ordner und so auf externer HDD speichern und im neuen System zurückkopieren?

 

[news]

Aber wie mach ich ein Backup von Proxmox VE selbst? Einfach die /etc Ordner und so auf externer HDD speichern und im neuen System zurückkopieren?

Nein ich kopiere automatisiert /etc und /root als ZIP - Datei auf einen Speicherort.
Ein einfachen weg gibt es nicht.
Man hat danach ein Archiv vom alten Proxmox-System mit dessen Hilfe man das neue Proxmox-System passend erstellen kann.
Also nicht einfach etwas kopieren!
Bitte den Kopf anstrengen und die Einstellungen übertragen.

 

[mr44er]

Die müssten doch reichen und ich stell einfach die Backups im neuen System wieder her und weise denen beim restore direkt das neue NVMe-ZFS zu, richtig?

Ich würde die VMs runterfahren und nochmals einen aktuellen Stand für jetzt machen (Backups von ausgeschalteten VMs sind 100% konsistent) und das 2x backuppen...auf eine zweite USB-Platte oder so. Das wirkt solange paranoid, bis die externe Platte runterfällt.

Aber wie mach ich ein Backup von Proxmox VE selbst?

Einfach frisch installieren und die Einstellung neu durchklicken, was gibts denn da zu speichern? Hat auch den Routiniereffekt, dass man sich nicht zuuu sehr als Bequeme gewöhnt.

 

[crally]

Man hat danach ein Archiv vom alten Proxmox-System mit dessen Hilfe man das neue Proxmox-System passend erstellen kann.

Was heißt "mit dessen Hilfe"? Eine Art Import-Funktion oder quasi abschreiben?

Bitte den Kopf anstrengen und die Einstellungen übertragen.

Mach ich ja, drum frag ich viel und handle erst dann

Einfach frisch installieren und die Einstellung neu durchklicken, was gibts denn da zu speichern?

Hmm.. joa stimmt eigentlich.

Die Netzwerkbrücken klickt man schnell wieder zusammen. Die Config-Dateien von PVE kann ich ja trotzdem mal abspeichern.
Und ich hab auf dem Host natürlich noch APCUPSD laufen, aber da sind die Configs auch schnell mal abgespeichert.

Dann mach ich das denk ich einfach so
Dann ist auch wieder alles "aufgeräumt"

Vielen herzlichen Dank für eure Zeit!

 

[mr44er]

Die Config-Dateien von PVE kann ich ja trotzdem mal abspeichern.

Ja. Es schadet nicht, aber ist IMHO den Aufwand nicht wert. Das wäre /etc und noch einer, kannst hier mal nach "host backup" oder so suchen.

Die Netzwerkbrücken klickt man schnell wieder zusammen.

Genau und auf neuer Hardware hast du sowieso wieder neue PCI-IDs und da hilft dir das Backup auch nicht weiter.

 

[crally]

Bin leider noch nicht zum Umzug gekommen, aber habe zumindest schonmal die Karte mit den neuen NVME's eingebaut. Auf der Sucher nach einer geeigneten Grafikkarte, kam dann leichte Ernüchterung in mir auf.

Nichts Themenrelevantes, aber vielleicht interessant zu lesen:

Ich habe eine wichtige Sache nicht bedacht: Stromversorgung der GPU

Ich habe 800W Netzteile verbaut, wovon immer nur eins läuft (redundanz). Jedes NT kann 65A auf der 12V Lane liefern. Alles gut soweit...
ABER: Es gibt keine Anschlüsse wie bei klassischen ATX PSU!
Vom Netzteil geht ein 24P Anschluss (12x plus, 12x Minus) direkt auf's Mainboard. Ein weiterer 10P (5x plus, 5x Minus) geht ebenfalls zum Board. Der 10P dient wohl als Puffer, falls die Netzteile umschalten müssen.
Dann hat man am Mainboard lediglich 4 PWR Ausgänge zur Verfügung. Jeweils 4P Minifit Jr. (2x Plus, 2x Minus).
Natürlich ist nirgendwo vermerkt wieviel Leistung die Stecker abgeben können. Da es sich um proprietäre Hardware handelt, gehe ich nicht davon aus dass sich hier zwangsläufig an irgendwelche ATX-Standards gehalten werden muss.
Also fing ich mit der Recherche an um eine Ahnung zu bekommen wieviel Leistung ich hier beziehen kann. Die Leiterbahnen auf dem PCB geben nichts her. Ich weiß nicht wieviel Layer das PCB hat etc.
Aber genau hier liegt der Knackpunkt: Wie viel Strom vertragen die Leiterbahnen vom 24P zu den 4P Steckern?

Einzig im Kabelanschluss-Schema aus dem Maintenance Handbuch liest sich, dass je PWR Ausgang bis zu 4x3,5" HDD oder 8x2,5" HDD angeschlossen werden können.
Geht man also davon aus, dass der Server im Vollausbau bis zu 32x 2,5" Seagate Exos 10E2400 versorgen können muss, welche im Normalbetrieb jeweils 8,6W typisch verbrauchen, komme ich auf mind. 275W Dauerlast (auf alle 4 Ausgänge verteilt). Dazu kämen eigentlich noch die entsprechenden Anschlussplatinen der HDD's die auch noch was benötigen, ich aber für die Rechnung vernachlässige.

Also rund 68W pro Ausgang. Der PCIe Port sollte nach spezifikation auch 75W liefern können, aber wie die GPU tatsächlich ihre Last bezieht, kann man nicht sagen, daher im Worst case nur mit 10-20W rechnen.

Bei einer GPU mit z.B. 180W TDP, wäre es also schon knapp nur zwei dieser 4P PWR Ausgänge zu einem 8P Stecker zusammenzufassen. Die GPU läuft zwar, aber wenn die Anschlüsse am Mainboard dadurch überlastet werden, da sie für solch hohen Dauerlasten nicht ausgelegt sind, wird es im wahrsten Sinne des Wortes brenzlich.

Daher werde ich nun wohl alle 4 PWR Ausgänge auf eine 12V Sammelschiene packen müssen und von dort aus auf einen 8P Stecker für die GPU gehen um den Strom aus möglichst allen PWR verteilt zu beziehen. Die Stromverteilung wird aufgrund unterschiedlicher Leitungslängen auf dem PCB und Übergangswiderständen natürlich nicht perfekt sein....
Sammelschiene deshalb, da ich anders nicht sinnvoll 8 Plus-Adern zu 3-Adern (wie beim 8P GPU Stecker nötig) adaptieren kann.
Dazu kommt, dass ich gerne min. AWG16 Drähte verwenden will und die üblichen Adapter meist nur 18AWG sind. So vermeide ich zumindest eine Überlastung der Kabel.

Tja... das Resultat wäre dann, dass ich immerhin GPU's mit 200W TDP sicher betreiben kann, aber wenn ich mal künftig z.B. eine RTX x090 betreiben wollte, könnte ich das wohl vergessen
Das ist mir einfach zu riskant.

Werde mal nachdem ich das ganze soweit installiert habe mal die Temperaturen auf dem PCB und Steckern mit Laserthermometer messen, während die GPU dann ne Zeit lang im Dauerlastbetrieb lief.

Wie gesagt, nichts Themenrelevantes mehr, aber wollte meinen kleinen aber relevanten Fehler einfach mal teilen

 

[mr44er]

Meh, daran habe ich auch nicht gedacht. Ich selbst habe das Problem natürlich nicht, da ich normale ATX-Netzteile auf die Rigs geschraubt habe.

Da es sich um proprietäre Hardware handelt, gehe ich nicht davon aus dass sich hier zwangsläufig an irgendwelche ATX-Standards gehalten werden muss.

Ja und ich frage mich auch gerade, inwieweit die PIN-Belegung übereinstimmt und wo definitiv nicht. So für den weiteren Gedanken, falls man frankensteinmäßig mit Gewalt ein normales ATX-Netzteil reindengelt...hübsch muss es nicht sein, nur funktional.

Aber genau hier liegt der Knackpunkt: Wie viel Strom vertragen die Leiterbahnen vom 24P zu den 4P Steckern?

Nicht nur das, neue GPUs haben verdammt schnelle Lastwechselzyklen. Im "guten" Fall (falls es das nicht abkann) schaltet das NT einfach nur hart ab, im schlechten könnte was beschädigt werden. Brand natürlich auch nicht ausgeschlossen.

Davon abgesehen und selbst mit passendem Netzteil ist mein Wissensstand, dass der neue Stecker das Problem bei nvidia ist (golem und/oder heise hatten berichtet): https://www.reddit.com/r/radeon/comments/1mw6ihw/update_yea_it_melted_12vhighfailiurerate_strikes/
Bei youtube findet sich neben clickbait auch einiges und dass es sogar auch neue AMDs mit altem Stecker treffen kann.

Im Zweifel dürfte noch die Variante über ein oculink GPU-dock am sichersten sein. Da weiß ich aber nicht, wie gut sowas funktioniert, keine Erfahrung. Da brauchst aber nur für die GPU noch ein ATX-Netzteil.

 

[crally]

Pinbelegung ist nicht das Problem. Das messe ich vorher aus.
Und Aufgrund der maximalen Last (die nur spekuliert werden kann), werde ich sowieso keine GPU's mit mehr als einem 8P Stecker nutzen. Eigentlich liebäugelte ich gerade mit ner 5060 Ti, da sie P/L technisch recht interessant wirkt.

Aber mit dem schnellen Lastwechsel hast du natürlich n Punkt... ach verdammt -.-

Die GPU war ja eigentlich Anlass und am Ende auch Ziel des Ganzen.

 

[mr44er]

Gab es diesen Server in Konfiguration mit einer GPU zu bestellen? Wenn ja, könnte man anhand dessen grob ausloten.

Nützt aber auch nichts, wenn du die 5060Ti eh haben willst. Was und wie die zieht dürfte mit damaligen configs nicht zu vergleichen sein.

Der PCIe Port sollte nach spezifikation auch 75W liefern können

Das muss ein PCIE-Port immer mindestens bringen können, das ist default und "Gesetz".

Also ich sag mal, an einem neuen ATX-NT kommst du so oder so nicht vorbei wegen der schnellen Lastwechsel. Wenn du damit die ganze Karre betreiben kannst, wäre das der Idealfall.
Wenn nicht z.B. falls die Stecker oder sonst was nicht passt, auch nicht sooo der Beinbruch, denn die Fujitsus sind ja für sich recht sparsam. Dann kannst du das neue Netzteil exklusiv für die 5060 nutzen:
https://youtu.be/lCa4QKhoCrU?t=558

 

[crally]

Tatsächlich ist mir an meinem alten Server vor rund 6 Monaten mal ein Netzteil gefreckt. Das war dann schon geil, dass das Ding einfach weiter lief und ich auf ebay in Ruhe ein neues NT gekauft hab und nach 3 Tagen dann auch noch ohne Downtime einfach das NT tauschen konnte.

Zudem ist der 24P Stecker am Mainboard vom neuen Server ja auch keine Norm. Obere Reihe ist 12x Plus (12V) und untere Reihe entsprechend 12x Minus.

Ne, das ist jetzt keine Option mehr....

Also entweder Server wieder verticken und von vorne anfangen, oder eGPU mal genauer ansehen und mich nebenbei ärgern, warum ich da nicht schon früher dran gedacht hab

 

[mr44er]

Was ich auf keinen Fall anraten würde (dann das wäre totaaal unfair), falls du noch genügend Rückgabezeitraum hast: es drauf ankommen lassen und wenn der Hochofen abfackelt, zurückgeben aka "Ich Stecker rein, machte bumm, jetzt schwarz, Geld zurück".

 

[crally]

Ich denke ich werde es mal "riskieren" unabhängig deines Vorschlags

Worst Case wäre wohl, dass ein Netzteil den Geist aufgibt. Wenn schnelle Lastwechsel auftreten sollte im schlimmsten Fall ein Spannungseinbruch die Folge sein, weil das NT nicht schnell genug hinterher kommt bzw. die Elkos nicht geeignet sind. So sollte es dann höchstens zu Aussetzern des Gesamtsystems bis hin zum Absturz kommen.
Durchbrennen sollte das NT in jedem Fall nicht. Eine Überlast an anderen Komponenten droht ebenfalls nicht.
Einzig wie erwähnt eine Überlastung der Leiterbahnen. Das werde ich im Dauertest dann mal mit Thermometer checken.

Ich berichte wenn ich dazu gekommen bin. Voraussichtlich dauert es noch 2-3 Wochen. Muss erst noch den Garten winterfest machen....

 

[crally]

So, der eigentliche Server Umzug ist geschehen und ich hab es mir letztlich doch einfacher gemacht aus Gründen der Downtime und leichtem Zeitmangel. Die Platten waren bereits ist 4k formatiert, also hab ich einfach alle in den neuen Server gepackt.
Ich hatte vorher kurz versucht den Bootloader für EFI nachzuinstallieren, da die EFI Partition an sich schon bestand. Am langen Ende hat der neue Server aber irgendwie nicht gebootet, also hab ich kurzerhand wieder auf Legacy Boot umgestellt und dann startete er auch sofort.
Das bleibt jetzt erstmal so.
Lediglich die Namen der Netzwerkkarte in der /etc/network/interfaces musste ich dann mittels lokal angeschlossener Tastatur und Monitor in der Kommandozeile anpassen und dann kam ich auch wieder aufs Web-Interface.

Ich danke euch dennoch für die zahlreichen Tips! Hab wieder viel gelernt und wenn nun die Intel SSD's mal getauscht werden müssen/sollen/wollen, werd ich das schön komplett neu aufsetzen, auch mit EFI-Boot.


Die neuen P983 NVME's hab ich dann zum Schluss als ZFS-Mirror angelegt und alle VM's und CT's dahin verschoben. Jetzt sind die beiden Intel SSD wirklich nur noch fürs Host OS da.

Unmittelbar nachdem ich alles eingestellt hatte konnte ich einen signifikanten Performance-"Boots" vermerken. Der Server ist nun bei weitem nicht mehr so ausgelastet und die Silver-CPU kommt auch offensichtlich spielend mit dem dekodieren meiner Überwachungskameras zurecht.
Insgesamt lädt alles wesentlich schneller, der Datendurchsatz durch die Firewall (OPNSense) hat sich stark erhöht, genauso wie die Transferraten über SMB.

Im Bild ein Vorher (mit nur einer Kamera) und ein Nachher (mit 4 Kameras)


Sobald die Sammelschiene und das Kabelset da ist, werd ich auch die GPU bestellen und dann kommt die da auch noch rein. Für meine Coral TPU hab ich auch schon ein PCIe-Riser-Kabel da, damit die GPU überhaupt platz findet. Die Coral TPU muss ich dann irgendwo am Gehäuse noch fixieren....

Edit: Achso, der Stromverbrauch hat sich übrigens erwartungsgemäß leicht erhöht. Es kamen (auch durch die zusätzlichen NVME's letztlich rund 20W hinzu. Aktuell liegt der Server im Schnitt bei 110 - 115W (ohne GPU)

 

[mr44er]

Am langen Ende hat der neue Server aber irgendwie nicht gebootet, also hab ich kurzerhand wieder auf Legacy Boot umgestellt und dann startete er auch sofort.

Ich hab hier ne Fujitsu Workstation, die braucht ~5 Mins fürn uefi-only boot...und ich hab keine Ahnung, was das für ne Bedenkzeit sein soll, das wirkt so als hängt es lange am Post-Ende Legacy flupscht schnell.

Die Platten waren bereits ist 4k formatiert

Perfekt!

werd ich das schön komplett neu aufsetzen, auch mit EFI-Boot.

Eigentlich ist das nur paarmal proxmox-boot-tool korrekt ausführen, damit das auf die Platte geschrieben wird.

Achso, der Stromverbrauch hat sich übrigens erwartungsgemäß leicht erhöht.

Es könnte sein, dass bei eher proprietären Kisten sich bei uefi-only noch ein paar Watt drücken lassen. ASPM funzt generell schon eher schlecht als recht, da hilft dann echt nur probieren.