Nachfolger für HP Microserver Gen8

Dann hat es sich wohl eh erledigt. Ich habe gerade mein Posting #40 auf Seite 2 auch noch editiert. ;)

Edit: Was mich jetzt aber mal doch interessiert: "Erläuterung klingt auch seriös." Was genau war seine Erläuterung?

VG Jim
 
Last edited:
Mir hat ZFS hier daheim alleine letztes Jahr drei 120GB TLC Cosnumer SSDs gekillt, die ausschließlich als System/Boot Laufwerke benutzt wurden.
Neues Jahr, neue SSD Probleme. Das wäre dann Nummer 4 in unter 12 Monaten:
Code:
pool: freenas-boot
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: scrub repaired 0B in 00:00:17 with 0 errors on Sun Jan  8 06:56:49 2023
config:

        NAME          STATE     READ WRITE CKSUM
        freenas-boot  DEGRADED     0     0     0
          mirror-0    DEGRADED     0     0     0
            ada1p2    FAULTED     64     0   706  too many errors
            ada0p2    ONLINE       0     0     0
Modell: CT120BX500SSD1
Power_on_Hours: 1125
Life Remain: 100%

Das Ding sollte eigentlich keine Checksum-Fehler haben. Ist ein Supermicro Board mit ECC RAM und Xeon E3.
Schmeist nur noch Fehler aus:
Code:
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 93 dc 63 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 99 6f 64 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 81 08 65 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 88 89 65 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 8d 11 66 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 91 9e 66 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 86 2f 67 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 ff 39 78 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): READ_FPDMA_QUEUED. ACB: 60 99 38 79 53 40 05 00 00 00 00 00
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): CAM status: Uncorrectable parity/CRC error
Jan  8 07:11:09 BackupNAS (ada1:ahcich1:0:0:0): Retrying command, 3 more tries remain
Muss ich mal gucken ob sich da RMA lohnt. Weil da sind jetzt schon 2 von 5 von defekt und sind noch keine 3 Jahre alt und lagen die meiste Zeit davon nur OVP herum. Porto für die RMA muss man leider selbst zahlen.

Oder ich warte noch bis Mitte des Jahres, dass da noch 1 oder 2 von ausfallen, dann muss ich nicht mehrfach das RMA Porto zahlen und kann die alle gleichzeitig einschicken, bevor die Herstellergarantie abläuft. ;) Die Frage ist dann eher, ob ich da den Ersatz überhaupt haben will, wenn die inzwischen als QLC gefertigt werden. Ersatz muss ich ja so oder so schnell kaufen, wenn ich den Server nicht über Wochen ohne Redundanz laufenlassen will. Meine 3 Spare SSDs stecken ja schon in den Server :/
 
Last edited:
Moin

Mein Beileid für den zusätzlichen Arbeitsaufwand. :( Wie Du ja sicherlich weißt ist die BX-Serie von Crucial bekanntlich die "Billig-Consumer-Serie". Nicht umsonst gibt Crucial dafür eine geringere Haltbarkeit und eine geringere Garantiezeit an. Ich würde mir kein BX-Modell kaufen und bei mir sind schon immer nur die MX-Modell von Crucial im Einsatz. Ja einen Defekt können beide Modelle bekommen, aber das gilt auch für ein Enterprise-Modell eines anderen Herstellers. Ein gutes Beispiel für das was ich geschrieben hatte:

BX = Nichts für mich
MX = Preis/Leistung/Qualität ok für mich hier zu Hause.
Enterprise-Modell = Hochwertiger und teuer aber nichts für mich hier zu Hause, es sei denn ich hätte das Geld dafür über. :)

Wenn ich - so wie Du - im Laufe der Zeit die Erfahrung machen würde das die SSDs regelmäßig sterben, scheinbar aufgrund dessen wie sie bei Dir belastet werden, dann würde ich wahrscheinlich auch nur noch auf Enterprise-Modelle setzen. Von den Crucial BX-Modellen würde ich eh immer die Finger lassen. Die Teile sind etwas für jemanden der alle paar Tage seinen PC mal für eine Weile einschaltet und damit arbeitet, aber nichts für einen Dauerbetrieb. :)

VG Jim
 
Ich bin da jedenfalls froh mein IPMI zu haben, dass ich bei sowas nicht immer erst Monitor und Tastatur zum Server schleppen muss^^
Kann ich mich nur anschließen, das ist jeden Cent wert. :D

Wenn man das einmal hat, will man es nicht mehr missen.
 
Wie Du ja sicherlich weißt ist die BX-Serie von Crucial bekanntlich die "Billig-Consumer-Serie". Nicht umsonst gibt Crucial dafür eine geringere Haltbarkeit und eine geringere Garantiezeit an. Ich würde mir kein BX-Modell kaufen und bei mir sind schon immer nur die MX-Modell von Crucial im Einsatz.
Wenigstens auf dem Papier tut sich bei da Modellen nicht so viel. Und die MX500 gab es nicht als 120GB Version und ich brauchte ja nur grobe 20GB als Bootdisk:
BX500 120GBMX500 250GBS3700 100GB
NAND:TLCTLCeMLC
Garantie-Zeit:3 Jahre5 Jahre5 Jahre
Garantie-Schreibhaltbarkeit:0,30 DWPD0,22 DWPD10,26 DWPD
MTBF:1,5 mio Stunden1,8 Mio Stunden2 Mio Stunden
DRAM Cache:jajaja
Powerloss Protection:neinneinja
Ich halte schon immer Ausschau nach weiteren S3710 100GB, damit ich meine restlichen Consumer Boot SSDs ersetzen kann, aber der Gebrauchtmarkt ist da gerade ziemlich leergefegt.
 
Last edited:
Das Inter-Tech Gehäuse wird nicht leise sein. Die 120mm Lüfter in meinen Inter-Tech Server Gehäusen waren jedenfalls sehr laut und ungeregelt. Bei den verbauten 60mm Lüfter wird das bestimmt noch schlimmer sein. Da würde ich also definitiv noch leisere Lüfter mitkaufen. Außerdem bekommst du da kein normales ATX Netzteil rein. Da müsstest du schon ein Flex-ATX Netzteil nehmen.

Bei dem B550 musst du aufpassen, falls du PCI Passthrough benutzen willst. Da werden sich alle Onboard-Komponenten die gleiche IOMMU Gruppe teilen, lassen sich also nicht durchreichen.
 
Moin,

das Interflex ist nur als Marker drin, vermutlich wird es das Fractal Design.

Ich mochte mir die Option des Durchreichens offen halten: Welcher Chipsatz sollte es dann sein?
 
Mit dem X570 sollte das besser gehen. Und natürlich noch besser wenn man Enterprise Hardware nutzt, wo es der Hersteller auch bei der Entwicklung auf dem Schirm hatte, dass man vielleicht Virtualisierung nutzen möchte. Hängt dann aber auch wieder sehr vom Board ab, wie genau da das Mainboard gebaut wurde und wie das BIOS programmiert wurde. Am besten gucken, mit welchen Mainboard-Modellen andere hier erfolgreich PCI Passthrough nutzen konnten.
 
Last edited:
Moin,

Danke dir - da bin ich dann bei uATX und X470/570 schnell wieder bei dem AsRock Rack X470D4U.
Ich habe mal folgendes zusammengestellt, kannst du da einmal drauf schauen?

Sollte ich die M2 SSD ebenfalls doppelt ausführen als SSD, auf der Proxmox läuft?
https://geizhals.de/?cat=WL-2902436
 
Ich persönlich würde dann auch gleich ECC RAM nehmen, wenn du schon eine CPU und Mainboard mit ECC RAM Support hast. Spart man sich dann unnötigen Datenverlust und Rechnerabstürze. Gerade wenn du vor hast den Server sehr lange zu betreiben, weil alternder RAM dann auch mehr Bitflips verursacht.

Auch würde ich persönlich keine Disks nutzen, die keine Parität haben. Da hätte ich keine Lust, dass da mein PVE Server eine Woche oder so nicht mehr läuft, bis da eine Ersatz-Disk geliefert wurde und ich alles neu aufgesetzt habe. Dann noch der Datenverlust seit dem letzten Backup und zusätzliche Arbeit das alles wieder wie zuvor einzurichten (gerade wenn es schon etwas her ist uns man nicht gut dokumentiert hat, was man über die Jahre alles so am OS verändert hat und dann ratlos da steht).
Meinen einzelnen M.2 Slot nutze ich daher garnicht erst, weil es nicht viel Sinn machen würde, wenn ich den nur mit einer SATA SSD spiegeln könnte und die SATA SSD dann der Flaschenhals ist und die NVMe SSD ausbremsen würde.

Die Asrock Rack Boards werden hier gerne genommen. Da solltest du also hier im Forum gut Infos zu finden können, was da gut mit PCI Passthrough läuft und was nicht.

Bei dem 5700X nicht vergessen, dass der keine iGPU hat.

Und die WD Red SSDs sind auch nur Consumer Grade, also nicht für ZFS empfehlenswert, sofern du vor hast das Software Raid von PVE zu nutzen.
Die wären eher was, wenn du nur vor hast einzelne Disks mit LVM zu benutzen, dass da der Overhead/Write Amplification nicht so massiv wird.
 
Last edited:
Moin Dunuin,

Danke dir.

Ich fange mal oben an:

* ECC RAM habe ich nun in der Wunschliste.

* Das mit den Disks bzgl. der Parität verstehe ich nicht so ganz? Was meinst du damit genau? Meine Annahme wäre einfach zwei gleiche SSD's zu nutzen.

* Zum 5700X, genau: Mein Verständnis ist, dass das ohne iGPU und dedizierte Grafikkarte trotzdem so funktioniert, da auf dem Mainboard ein kleiner Grafikchip ist um zumindest das wesentlichste auszugeben (Zugriff erfolgt nur via IPMI).

* ZFS via Software Raid soll genutzt werden. Welche SSD's würdest du dann empfehlen?
 
Das mit den Disks bzgl. der Parität verstehe ich nicht so ganz? Was meinst du damit genau? Meine Annahme wäre einfach zwei gleiche SSD's zu nutzen.
Ja, das kann man machen, wenn man ein Raid1/Mirror will. Die Frage ist dann aber wie du dein Raid1 erstellen willst? PVE bietet nur ZFS als Software Raid und ZFS hat wieder seine eigenen Anforderungen/Empfehlungen. So ist es z.B. ratsam ECC RAM zu verwenden, Enterprise/Datacenter Grade SSDs mit Power-loss Protection für bessere Sync Write Performance und erhöhte Lebenserwartung, da du mit ZFS massiv Write Amplificaion hast, was die SSDs dann viel schneller abnutzt. Dann noch bedenken, dann man eventuell gleich größere SSDs nimmt, da man die SSDs nicht mehr als 80% füllen sollte (uns HDDs ebenfalls nicht. Deine beiden 14TB HDDs hätten also auch nur 11,2TB). Außerem würde ich etwas Kapazität (so 60GB) von den SSDs abzweigen um dann eine Partition als Special Device für den HDD-Pool zu benutzen. Damit würdest du dann die Performance der HDDs ein gutes Stück boosten, gerade bei kleinen kleinen Dateien oder Zvols.
Und RAM nimmt man auch besser gleich etwas mehr, da ZFS schon ein paar GBs an RAM benötigt. Du hättest dann 30TB Raw Storage. Da würde ich persönlich schon so 16-32 GB RAM rein für ZFS einplanen, wenn du ordenliche Performance willst. Laufen sollte es aber auch mit weniger, z.B. 8GB RAM.
Um mal das PVE ZFS Benchmark Paper zu zitieren:
Queston: Can I use consumer or pro-sumer SSDs, as these are much cheaper than enterprise-class SSDs?
Answer: No. Never. These SSDs wont provide the required performance, reliability or endurance. See the fio results from before and/or run your own fio tests
Wenn PVE also deine SSDs spiegeln soll, dann wäre es ratsamer gleich eine Enterprise SSD zu nehmen.
Beispiel für langsamere und weniger haltbare 1TB SATA Enterprise SSD: Link
Beispiel für schnellere und haltbarere 1TB SATA Enterprise SSD: Link

* Zum 5700X, genau: Mein Verständnis ist, dass das ohne iGPU und dedizierte Grafikkarte trotzdem so funktioniert, da auf dem Mainboard ein kleiner Grafikchip ist um zumindest das wesentlichste auszugeben (Zugriff erfolgt nur via IPMI).
Jup. Aber auch nur bei dem Asrock Rack Boards, weil die ein IMPI haben was mit onboard GPU kommt. Wenn du nirgends in einer VM/LXC Hardwarebeschleunigung einer GPU oder einen Displayusgang brauchst, dann reicht das auch so. Eine iGPU zu haben ist aber sehr nett, da man die dann in eine VM durchreichen kann. Z.b. wenn man einen Media-Server betreiben will oder Videoüberwachung, dass da dann die iGPU für Encoding/Decoding/Transcoding benutzt werden kann. Oder wenn man in einer VM etwas mit KI machen will. Oder wenn man eine VM als HTPC benutzen möchte, um den Server dann z.B. für Videoplayback am TV anzuschließen.
iGPUs können für gewöhnlich auch Videos enkodieren. Die billigen Grafikkarten können das alle nicht. Da müsste man schon eine Grafikkarte mit 75+W für 150+€ kaufen, wenn man das später bräuchte. Da tut es dann keine alte GT710 oder so und man müsste schon mindestens zu einer GTX1050 etc greifen.
 
Last edited:
Moin,

ich danke dir erstmal wieder :)

PVE bietet nur ZFS als Software Raid und ZFS hat wieder seine eigenen Anforderungen/Empfehlungen. So ist es z.B. ratsam ECC RAM zu verwenden, Enterprise/Datacenter Grade SSDs mit Power-loss Protection für bessere Sync Write Performance und erhöhte Lebenserwartung, da du mit ZFS massiv Write Amplificaion hast, was die SSDs dann viel schneller abnutzt.
Ok, auf ECC RAM habe ich meiner Wunschliste schon umgestellt.

Und RAM nimmt man auch besser gleich etwas mehr, da ZFS schon ein paar GBs an RAM benötigt.
Ich habe nun mal mit 64GB RAM gerechnet und dies so in der Wunschliste erfasst.
Aktuell rennt auf dem Proxmox Host "nur":

- XPenology (Synology OS)
- BlueIris Server (Videoüberwachung)
- Kleiner Ubuntu-Server für Spielerein

Die würden sich also die restlichen 32GB RAM teilen.

Beispiel für langsamere und weniger haltbare 1TB SATA Enterprise SSD: Link
Beispiel für schnellere und haltbarere 1TB SATA Enterprise SSD: Link
Wow, und das ganze dann 2x da idealerweise als Mirror. Ich sprenge so langsam aber (ganz) sicher mein Budget.

Z.b. wenn man einen Media-Server betreiben will oder Videoüberwachung, dass da dann die iGPU für Encoding/Decoding/Transcoding benutzt werden kann.
Ok, dann kann oder wird es vermutlich sinnvoll sein, doch auf einen Prozessor mit iGPU zu setzen um diese iGPU in der Hinterhand zu haben.
Z.B. meine BlueIris VM könnte dann davon profitieren, dass sie die iGPU des Prozessors zur Bildanalyse verwenden kann, korrekt?

Das Thema der Kosten treibt mich noch ein wenig um, eigentlich sollte bei 1.000 EUR Schluss sein :-(
 
Z.B. meine BlueIris VM könnte dann davon profitieren, dass sie die iGPU des Prozessors zur Bildanalyse verwenden kann, korrekt?
Jup, aber forsche am besten noch einmal nach. iGPU Passthrough ist meist problematischer als Passthrough einer dedizierten Grafikkarte. Bei vielen Intel iGPUs geht das, ich weiß aber gerade nicht wie gut das bei den Ryzen APUs klappt. Am besten mal suchen, ob da wer mit den Asrock Rack Boards die iGPU eines Ryzen 5700G/5600G durchgereicht bekommen hat.
 
Moin,

Danke, werde ich tun.
Hast du noch eine gute Idee, wie ich das noch etwas preiswerter gestalten kann?
 
Wenn dir Datenintegrität und Stabilität wichtig ist, dann sind gebrauchte Server/Workstations günstig. Je älter die sind, desto günstiger wird es, aber natürlich werden die dann auch um so energieineffizienter.
Ich hatte mir z.B. vor 2 Jahren mal einen kompletten microATX Towerserver mit 32GB ECC DDR4 RAM, 8 Kern Xeon E5 v4 CPU, 200GB Enterprise SSD, 2TB Enterprise HDD, GT710, 900W 80+ Gold PSU für 330€ gekauft. Hatte ich dann noch mit 32GB RAM für 120€, 2x 8-Port HBA für je rund 35€ , 10Gbit SFP+ NIC für 35€, Quad Gbit NIC für rund 35€ und 16 Kern Xeon E5 v4 für 100€ nachgerüstet.
Vor ein paar Wochen dann noch einen kompletten ATX 1U Server mit 64GB ECC DDR4 RAM, 8 Kern Xeon E5 v3, 2x 2TB Enterprise HDDs, 350W 80+ Gold PSU für 230€ ersteigert. Bei dem wollte ich eigentlich nur das Mainboard und den RAM haben, um damit den obigen Server aufzurüsten. Da gingen mir nämlich RAM und PCIe Slots aus. So ein 1U Server wäre auch echt nichts für das Wohnzimmer. Die 5x 40mm Lüfter in dem Ding drehen auf 13500 RPM und klingen schlimmer und lauter als mein 70er Jahre Staubsauger. ;) Da sollte man also gleich ein entsprechendes neues Case einplanen und vorher gucken, dann das Mainboard auch wirklich was Formfaktor und Kabel gängige Standards erfüllt und nichts propietäres ist, wie man es bei Dell/HP/Lenovo/Fujitsu leider zu oft findet.
Ist jetzt also eine 16 Kern CPU, 128GB DDR4 ECC RAM, 26 SATA Ports, 6 PCIe Slots mit 36 PCIe 3.0 Lanes zur CPU sowie 6 PCIe 2.0 Lanes zum Chipsatz, GT710 GPU, 10Gbit NIC, Quad-Port Gbit NIC im 4U Rack-Case für knappe 1000€. HDDs sind SSDs sind dann aber noch für grob 1800€ draufgekommen.
Aber jedenfalls deutlich brauchbarer für einen Hypervisor und gleichzeitig billiger, als wenn man vergleichbare neue Consumer Hardware kaufen würde. Und neue Enterprise Hardware ist für das Homelab leider eh unbezahlbar.

Die Xeon E5 v4 Generation finde ich da aktuell noch am Erstrebenswertesten. Nicht so günstig wie die Xeon E5 v2, die man billig nachgeworfen bekommt, aber dafür laufen die wenigstens schon mit DDR4 RAM und nutzen das 14nm Verfahren. Also nicht ganz so lahm und energieineffizient.
Aber kommt man noch zu guten Preisen ran, da wohl die Datacenter gerade die v3/v4 Server ausmustern. Alles Neuere (also 6 Jahre und jünger) wird dann schon wieder recht teuer.

Wenn dir Datenintegrität und Stabilität nicht so wichtig ist und du lieber neue Hardware mit Garantie willst, dann könntest du auf Copy-on-Write Dateisysteme wie ZFS verzichten. Das senkt dann ordentlich die Hardwareanforderungen. Stattdessen dann z.B. das Onboard-Raid mit LVM/LVM-Thin verwenden. Dann möglichst günstiges x570 Board mit Ryzen 5000 G-Modellen und dann die iGPU für PVE selbst nehmen und etwas wie eine GTX1650 fürs Decoding/Encoding (sonst muss alles in Software von der CPU berechnet werden) in den 16x PCIe Slot und die dann in die Überwachungskamera VM durchreichen.
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!