Nachfolger für HP Microserver Gen8

[DasMoritz]

Moin,

ich danke dir mal wieder.
Stabilität und Integrität ist mir schon wichtig, wenn das Ding aber mal eine Woche steht und ich 8h Arbeit investieren muss, dann ist das nicht schlimm.

Wichtig ist mir, dass ich im Fall der Fälle keine Daten verliere und da greift aus meiner Sicht dann nur ein Backup (bzw. mehrere). So handhabe ich das heute auch mit dem Microserver Gen 8: Ein Backup auf einen kleinen Dell-Consumer-PC wo PBS rennt, ein Backup in die Cloud und ein Backup der XPenology auf meine alte Synology NAS.

Mein Problem ist ergänzend, dass mein 19" Schrank eigentlich nur effektive 35cm Tiefe für ein Gehäuse hat, dass schränkt die Auswahl an fertigen Lösungen auch massiv ein.

Ich bin gerne bereit an die 1.000 EUR auszugeben, aber ggf. muss ich mich dann von ZFS verabschieden, auf "gewöhnlichere" SSD's setzten und das ganze via LVM/-Thin mit OnBoard RAID abbilden (ist ja auch nicht soooo schlecht).

Wäre dann die bestehende Konfiguration nicht sogar schon "passend"?
Die dedizierte GPU könnte ich ja jederzeit noch nachrüsten, denke da aber schon wieder an den Stromverbrauch.

https://geizhals.de/?cat=WL-2902436

 

[Dunuin]

Das Problem ohne ein Dateisystem wie ZFS ist, dass du nie weißt, ob du nicht seit Jahren kaputte Dateien sicherst. Auch 100 Backups bringen nichts, wenn alle 100 Backups die gleichen kaputten Dateien enthalten, weil du ein Dateisystem benutzt was nicht gegen schleichenden Dateiverfall (Bit Rot) schützt. Bits sind ja nicht in Stein gemeißelt. Auch Festplatten/SSDs machen Fehler und die Bits und Bytes verrotten dir über die Jahre. Genau wie eine CD/DVD, wo sich irgendwann einfach Dateien nicht mehr lesen lassen. Dann hast du z.B. Fotos, die sich noch Öffnen lassen, wo aber die untere Hälfte einfach nur noch schwarz ist. Oder Videos die irgendwo in der Mitte plötzlich hängen.
ZFS speichert da beim Erstellen/Editieren von Dateien/Blöcken immer eine Prüfsumme. Regelmäßig ließt dann ZFS alle Dateien/Blöcke und berechnet dessen Prüfsumme neu. Die wird dann mit der gespeicherten Prüfsumme verglichen und wenn sich die Prüfsumme unterscheidet, dann sagt dir ZFS, welche Datei kaputt gegangen ist. Hast du dann noch ein Mirror oder Paritätsdaten, dann repariert ZFS auch gleich automatisch noch die kaputte Datei/Block. Sowas nennt man bei ZFS ein Scrub Task. Wenn ich einen solchen Scrub Task alle 30 Tage laufen lasse und der mir keine Fehler gemeldet hat, dann weiß ich, dass alle meine Backups die älter als 30 Tage sind definitiv nur heile Dateien enthalten. Ich kann mich also auf meine Backups verlassen. Wenn dir Dateien kaputt gehen und du es nicht bemerkst, weil du nicht regelmäßig jedes Video und Foto einmal komplett ansiehst, dass dir da Fehler auffallen würden (und mal ehrlich, wer tut das schon bei TBs an Daten...die Familienfotos möchte man nicht verlieren, man will sie aber auch nur alle paar Jahre mal angucken...) und dein Dateisystem so etwas auch nicht erkennen kann, dann hast du trotz deiner Backups Datenverlust. Sagen wir ein Bild ging dir unbemerkt vor 5 Jahren kaputt. Hast du dann kein Backup was älter als 5 Jahre ist, dann ist das Bild bereits seit Jahren unwiederruflich verloren. Im Idealfall sind meine Backups ebenfalls auf ZFS gepeichert, das ich auch merke, wenn später das Backup kaputt gehen sollte.

ECC RAM ist da dann auch wieder wichtig, da deine Daten ja nicht nur auf den Disks kaputt gehen können, sondern auch schon wenn die noch im RAM sind. Der ECC RAM macht dann das gleiche was ZFS für die Disks tut um Fehler zu erkennen und zu reparieren, nur halt für den RAM. Und gehen deine Daten schon im RAM kaputt weil du kein ECC hast, bevor ZFS die Prüfsummen erstellt und es auf die Disk schreibt, dann ist der Bit Rot Schutz von ZFS auch nicht mehr verlässlich. Daher die Empfehlung ECC RAM für ZFS zu benutzen.

Da muss man dann selbst für sich entscheiden, ob man sich sagt "Was ich nicht weiß, macht mich nicht heiß...wenn mir Dateiverlust über Jahre nicht auffällt, dann war die Datei wohl nicht so wichtig und ein Verlust verschmerzbar" und zu Consumer Hardware mit einem simplen Dateisystem greift. Oder ob man sich entsprechend teurere Enterprise Hardware für ZFS zulegt, um dann die Gewissheit zu haben, dass die Daten auch nach Jahren immer noch genau so sind, wie man sie damals gespeichert hat.

 

[DasMoritz]

Moin,

Dankeschön, verstanden habe ich es.

Bei mir kommt gerade folgender Gedankengang auf:
Wenn ich nun auf ein System mit ECC und ZFS setzte und das einmal vernünftig aufbaue, dann sollte es bei künftigen neuen Dateien (Fotos und Videos vom Nachwuchs) zu keinen Problemen kommen.

Dateien, die bereits seit 6 Jahren auf meinem Microserver schlummern können "defekt" sein, den Fehler kann ich nicht mehr ausmerzen - aber ich kann es künftig vermeiden, korrekt?

Dann mache ich das so: ECC und ZFS, so eine Maschine kauft man ja auch nicht so regelmäßig.
Ich habe die Datacenter SSD's nun erstmal auf eine kleine Variante gestellt, magst du noch einmal schauen?

https://geizhals.de/?cat=WL-2902436

 

[Dunuin]

Moin,

Dankeschön, verstanden habe ich es.

Bei mir kommt gerade folgender Gedankengang auf:
Wenn ich nun auf ein System mit ECC und ZFS setzte und das einmal vernünftig aufbaue, dann sollte es bei künftigen neuen Dateien (Fotos und Videos vom Nachwuchs) zu keinen Problemen kommen.

Dateien, die bereits seit 6 Jahren auf meinem Microserver schlummern können "defekt" sein, den Fehler kann ich nicht mehr ausmerzen - aber ich kann es künftig vermeiden, korrekt?

Jup.

Ich habe die Datacenter SSD's nun erstmal auf eine kleine Variante gestellt, magst du noch einmal schauen?

https://geizhals.de/?cat=WL-2902436

Der 5700X ist übrigens bei dem Mainboad nicht auf der Support-Liste (kann aber natürlich trotzdem funktionieren): https://www.asrockrack.com/general/productdetail.asp?Model=X470D4U#CPU
Ggf. musst du auch das BIOS erst flashen, sofern das Board nicht mit der letzten BIOS-Version ausgeliefert wird. Bin nicht sicher, ob sich das wegen dem IPMI ohne kompatible CPU flashen lässt. Zu mindestens bei meinen Supermicro-Boards geht BIOS-Flashen über IPMI nur wenn man eine Lizens erwirbt, um das Feature freizuschalten.

Bei Server-Mainboards ist meistens der Sockel und RAM um 90 Grad gedreht, wegen Airflow. Du kannst den Kühler zwar verwenden, der wird dann aber entweder nach oben oder unten pusten und nicht nach hinten (richting IO-Blende) oder vorne, da der sich nicht in beide Achsen montieren lässt.

 

[DasMoritz]

Moin,

long Time no See:
Darf ich euch bitten einmal final auf diese Konstellation zu schauen?
https://geizhals.de/?cat=WL-2902436

Ich hoffe, dass das Gehäuse wie abgebildet zwei HDD's plus mind. eine weitere SSD (idealerweise zwei) verträgt. Die SSD's bekomme ich da aber schon irgendwie unter.

Danke,
Moritz

 

[Dunuin]

Das Gehäuse hat 1x 3,5" hochkant an der Seite + 1x 3,5" ODER 2x 2,5" auf dem Boden. Also wenn du da 2x 3,5" HDDs reinpackst, dann passen keine 2,5" SSDs mehr rein. Außer du findest irgendwo einen freien Platz und kelbst die mit Doppelseitigem Klebeband an irgendeine freie Fläche.
Außerdem wird der 3,5" Platz am Boden von unten verschraubt, ist aber nicht entnehmbar, ob das Lochmaß auch für 8+TB HDDs passt (<8TB HDDs haben andere Positionen für die Schrauben wie >8TB HDDs).

 

[DasMoritz]

Moin,

Danke dir @Dunuin
Ok, die Festplatten bekomme ich schon irgendwie unter. Im Worst Case drucke ich mir einen Festplattenhalter oder löse es irgendwie anders - das bekomme ich hin.

Passt es denn aus deiner Sicht sonst technisch (CPU, RAM, etc.)?
Das Board hat ja eine Onboard-Grafikkarte, dann ist doch der Prozessor in meiner Liste gar nicht notwendig, oder? Es würde ja eine CPU ohne iGPU ausreichen, die ECC unterstützt, z.B. der AMD Ryzen 5 5600, 6C/12T, 3.50-4.40GHz, tray

Ich habe auch noch mal nach fertigen Systemen geschaut, z.B. HP EliteDesk 600 SFF, Lenovo M70t, Dell Optiplexe, etc.

Im Ergebnis ist es aber wie folgt:
Wenn ich die fertigen Systeme technisch mit dem Eigenbau-System vergleiche, dann:
- Kann ich zum Teil nicht mehr auf 128GB RAM hochrüsten (doof, wenn man ein neues System kauft was direkt Beschränkungen hat)
- IPMI komplett streichen
- Habe immer irgendwelche Kompromisse, bin aber preislich beim Eigenbau-System...

 

[DasMoritz]

Moin,

nochmal eine Frage an die Experten:
Auf meinem alten Host ist PVE auf einer SSD installiert, die beiden 14TB HDD's beinhalten alle VM's.
Kann ich die beiden HDD's nun bei der Migration einfach in den neuen Host "stecken" und er lädt die VM's oder muss ich ein Backup auf den PBS machen und dann den Restore durchführen?

Danke,
Moritz

 

[Dunuin]

Kann ich die beiden HDD's nun bei der Migration einfach in den neuen Host "stecken" und er lädt die VM's oder muss ich ein Backup auf den PBS machen und dann den Restore durchführen?

Kann man machen, aber da ist schon etwas mehr notwändig, wenn mann nicht den Umweg über Backups geht. Zum einen muss man den VM Storage vorher hinzufügen. Und dann enthält dein VM Storage nur die virtuellen Disks, nicht die kompletten VMs. Die benötigten VM/LXC Konfig-Dateien liegen auf deiner System-Disk.

 

[DasMoritz]

Moin @Dunuin

hat nach dieser Anleitung recht gut funktioniert: https://www.thomas-krenn.com/de/wik...roxmox_Single_Host_Reinstall_ohne_Full-Backup

Ist nur natürlich ein wenig dämlich, wenn einzelne VM's / LCX noch eine VMDisk haben, die auf einer SSD liegt - die ich ja nun nicht umgezogen habe. Daher musste ich noch einmal zurückbauen und die betroffenen VMDisks auf den korrekten Storage verschieben.

Ansonsten rennt nun alles wieder:
Es ist übrigens ein HP Elitedesk 800 G4 geworden, 2x 32GB RAM, Intel i3 8500 welcher aber vermutlich bald gegen einen Intel i7 8700 getauscht wird (mehr geht in dem Teil wohl nicht), 2x M2 SSD als ZFS Mirror für Proxmox, 2x 14TB Seagate Exos als ZFS Mirror für die VM's.

Der Geschwindigkeitsvorteil ist schon sehr massiv spürbar, alleine bei Anmeldungen, Indexierung von Bilder, eigentlich alles - macht Spaß!

Folgendes muss ich noch lösen:
1.) Ich würde gerne idealerweise als Cloud-Backup-Ziel ein geteiltes Google Drive Unlimited nutzen, dort die Daten aber verschlüsselt ablegen (aktuell mache ich das mit Duplicati nur unter meiner XPenology-Umgebung)

2.) Ich muss schauen ob ich den HP Microserver Gen 8 als lokales Backup-Ziel behalte (wäre vermutlich sinnvoll), zudem kann dieser vier HDD's aufnehmen und ich kann per iLo Remote zugreifen, dass Ding kann also auch auf den Dachboden / ins Gartenhaus, wohin auch immer...

Das bekomme ich aber gut gelöst

 

[DasMoritz]

Moin,

ich habe nochmal eine technische Frage @Dunuin

Hintergrund: Mein neuer Host (Elitedesk 800 G4) hat sich anscheinend gestern die Karten gelegt und quittiert einen planungsmäßigen Reboot nun mit einer Beep-Reihenfolge.

Aktuell hält der Host ja sowohl den Storage als auch die "Rechenkapazitäten", nun ist es durch den Ausfall natürlich so, dass ich nicht mehr an die Daten komme.

Ich habe in meinem "Lager" aber noch den alten Host (HP Microserver Gen 8 mit 16GB RAM und Xeon 1240) sowie einen ehemaligen anderen Rechner (Dell Optiplex 7040 mit 16GB RAM und i5-6500) herumstehen. Auf dem Dell rennt gerade PBS als Backupziel.

Nun führt der Ausfall des neuen Hosts natürlich zu der Überlegung, wie ich die Verfügbarkeit erhöhen kann. Ich sehe dabei drei Gedankengänge:

1.) Clusterbetrieb
Aufbau eines Clusters mit dem Dell Optiplex 7040 und dem Elitedesk 800 G4 (wenn er wieder i.O. ist). Aus meiner Sicht muss der Storage dann aber "isoliert" von beiden Systemen sein, z.B. auf dem HP Microserver Gen 8 (der aber nur 16GB RAM kann).

Als Nachteil sehe ich hier an, dass anscheinend immer beide Nodes (bzw. noch ein dritter als RPI o.ä. für das Quorum) parallel laufen müssen. Zudem gibt es den einen singe point of failure, den Storage, der ebenfalls laufen muss. Im Kern rennen dann drei bzw. vier Geräte für den Cluster-Betrieb. Aus "Rechenkapazitäten" benötige ich dies nicht.

2.) Zweiter sekundärer offline Host mit Storage
Gibt es das ganze auch als "offline-Variante"? Was meine ich: Der Elitedesk 800 G4 ist der primäre Host mit Storage im Bauch, es gibt keinen dedizierten Storage. Der Dell Optiplex 7040 wird parallel aufgebaut und gilt als sekundärer Host der ebenfalls ausreichend Storage hat: Beide Hosts synchronisieren sich z.B. einmal am Tag, sodass der aktuelle Stand vom primären Host auf den sekundären Host geschrieben wird - damit haben beide Hosts den gleichen Stand.

Fällt nun der primäre Host aus, so kann einfach manuell der sekundäre Host gestartet werden und übernimmt. Die Daten basieren dann zwar auf dem letzten Sync beider Maschinen, dass wäre für mich privat aber in Ordnung. Solange wie der primäre Host offline ist, erbringt der sekundäre Host die Tätigkeiten.

Sobald der primäre Host wieder i.O. ist, syncen sich beide Hosts wieder und es wird der aktuelle Stand vom sekundären Host auf den primären Host geschrieben - nun sind beide wieder gesynct und der primäre Host übernimmt wieder.

Nachteilig wäre hier, dass auf beiden Systemen ausreichend Storage zur Verfügung stehen muss (also sekundärer Host mit ebenfalls 2x 14TB HDD's wie der primäre Host).

3.) Manueller Umzug:
Ich würde primär nur mit einem Host arbeiten offline aber einen technisch identischen zweiten Host vorhalten. Sollte sich beim primären Host ein Hardwaredefekt ergeben, so ziehen einfach "nur" die die beiden 14TB HDD's (beides im ZFS Mirror) in den bisherigen "Offline-Host" um und werden dort eingebunden (also ein manueller Umzug).

Sind meine Gedankengänge so richtig oder fehlt was entscheidendes?

 

[Dunuin]

1.) Clusterbetrieb
Aufbau eines Clusters mit dem Dell Optiplex 7040 und dem Elitedesk 800 G4 (wenn er wieder i.O. ist). Aus meiner Sicht muss der Storage dann aber "isoliert" von beiden Systemen sein, z.B. auf dem HP Microserver Gen 8 (der aber nur 16GB RAM kann).

Als Nachteil sehe ich hier an, dass anscheinend immer beide Nodes (bzw. noch ein dritter als RPI o.ä. für das Quorum) parallel laufen müssen. Zudem gibt es den einen singe point of failure, den Storage, der ebenfalls laufen muss. Im Kern rennen dann drei bzw. vier Geräte für den Cluster-Betrieb. Aus "Rechenkapazitäten" benötige ich dies nicht.

Ja, willst du den Single Point of Failure loswerden, dann müsstest du schon mindestens 3 vollertige PVE Nodes mit Ceph laufen lassen, was dann eine Kopie von allen auf jedem Node bereit hält. Da fehlen dir dann aber wieder die Erweiterungsmöglichkeiten, da Ceph ja 10+Gbit NICs und mehrere OSDs pro Node haben sollte.

2.) Zweiter sekundärer offline Host mit Storage
Gibt es das ganze auch als "offline-Variante"? Was meine ich: Der Elitedesk 800 G4 ist der primäre Host mit Storage im Bauch, es gibt keinen dedizierten Storage. Der Dell Optiplex 7040 wird parallel aufgebaut und gilt als sekundärer Host der ebenfalls ausreichend Storage hat: Beide Hosts synchronisieren sich z.B. einmal am Tag, sodass der aktuelle Stand vom primären Host auf den sekundären Host geschrieben wird - damit haben beide Hosts den gleichen Stand.

Fällt nun der primäre Host aus, so kann einfach manuell der sekundäre Host gestartet werden und übernimmt. Die Daten basieren dann zwar auf dem letzten Sync beider Maschinen, dass wäre für mich privat aber in Ordnung. Solange wie der primäre Host offline ist, erbringt der sekundäre Host die Tätigkeiten.

Sobald der primäre Host wieder i.O. ist, syncen sich beide Hosts wieder und es wird der aktuelle Stand vom sekundären Host auf den primären Host geschrieben - nun sind beide wieder gesynct und der primäre Host übernimmt wieder.

Nachteilig wäre hier, dass auf beiden Systemen ausreichend Storage zur Verfügung stehen muss (also sekundärer Host mit ebenfalls 2x 14TB HDD's wie der primäre Host).

Jup, sowas wäre dann z.B. mit ZFS Replikation zwischen 2 PVE Nodes + 1 Gerät als Qdevice. Aber wenigstens musst du nur alle Disks doppelt kaufen und nicht 4-fach wie bei Ceph.

3.) Manueller Umzug:
Ich würde primär nur mit einem Host arbeiten offline aber einen technisch identischen zweiten Host vorhalten. Sollte sich beim primären Host ein Hardwaredefekt ergeben, so ziehen einfach "nur" die die beiden 14TB HDD's (beides im ZFS Mirror) in den bisherigen "Offline-Host" um und werden dort eingebunden (also ein manueller Umzug).

Sind meine Gedankengänge so richtig oder fehlt was entscheidendes?

Das geht natürlich auch. Außer der Crash killt dir auch gleich den ZFS Pool. Dann würde dir das Transplntieren der Disks ja nicht viel helfen und du müsstest eh alles aus Backups wiederherstellen, was bei 14TB schon eine Weile dauern kann.

 

[DasMoritz]

Moin @Dunuin

und mal wieder vielen Dank. Okay, dann bin ich in der Tat am überlegen nach Variante 3 vorzugehen:

Der HP Elitedesk wird der Online-Host, der zwei m2 SSDs für Proxmox und die beiden 14TB HDDs im Bauch hat.

Der Dell Optiplex wird der Backup-Host, der sonst nur eine SSD im Bauch hat, wäre dann ein manuelles „umstecken“ auf ihn bei defekt.

Der Mircroserver Gen 8 wird der native Proxmox Backup Server, auf den der Online-Host (Elitedesk 800) seine Backups schreibt. Dieser sollte idealerweise dann auch via ZFS Mirror gesichert sein.

Daher:
Bei Problemen „ungleich Storage“ (CPU defekt, Mainboard defekt etc.) kommt der Dell Optiplex zum Einsatz (höhere Verfügbarkeit)

Bei Problemen „gleich Storage“ (beide HDDs defekt, Controller defekt, etc.) wird aus dem PBS-Backup wiederhergestellt.

Nebenbei sichert dann die XPenology via Internet Synology Tools noch auf eine alte DS-211 (leider Raid 0) und wichtigste Dateien via Duplicati in die Cloud.

Vermutlich macht es dann Sinn On- und Offline-Host identisch zu konfigurieren, oder?