Sinnvoller Storage für HomeLab?

[antimon]

Hallo zusammen,

ich habe einen Cluster, bestehend aus derzeit 2 Servern mit je 32 Gig RAM (mehr packt das Board leider nicht) und bin auf der Suche nach einem möglichst performanten Storage dafür.
Ausfallsicherheit / HA ist jetzt nicht so kritisch, aber ich würde damit gerne Erfahrungen sammeln und natürlich das Beste aus der vorhandenen Hardware holen. Dabei ist der Stromverbrauch für mich so mit der größte Faktor, denn das Ganze geht schon ziemlich ins Geld, wenn da ständig 300 W oder so vor sich hin rödeln...

Ein großer offener Punkt ist dabei das Storage. Ich bin mittlerweile seit Wochen auf der Suche nach der geeigneten Technik - ursprünglich liefen mehrere VMs auf einer Platte ohne Redundanz. Das ist natürlich nicht sehr schön, theoretisch könnte man dem aber mit Replikation entgegenwirken.

ZFS habe ich mir angeschaut, das gefällt mir vom Prinzip schon recht gut, aber dieser enorme Speicherhunger gefällt mir gar nicht. Mir wurde im TrueNAS Forum gesagt, dass ich eigentlich nicht unter 64 GB anfangen soll, aber meine beiden Produktiv-Server haben jeweils nur 32 GB und sollen eigentlich auch noch VMs hosten. Auf einem Testserver habe ich Proxmox und ZFS mit 128 GB laufen lassen und war jetzt nicht sooo angetan von der Performance. Dass man für ZFS eigentlich auch immer nur Mirrors nehmen soll und Raid-Z nicht empfohlen wird, stört mich eigentlich auch so ein wenig.

GlusterFS finde ich super cool. Mir gefällt, dass die Dateien quasi "direkt" sichtbar sind, und man diese direkt wegkopieren könnte (im Fall eines Crashs interessant). Dass ein Zugriff via NFS auch funktioniert, gefällt mir auch sehr gut. Aber die Performance war jetzt nicht sooo toll.

Ceph sieht sehr interessant aus, das habe ich noch nicht live getestet. Aber die RAM-Anforderungen fand ich auch übelst. Ich kann das nicht einschätzen ob das jetzt Werte sind, die einfach fürs große Rechenzentrum relevant sind oder auch fürs HomeLab. Aber auch da waren von 64 GB die Rede...

Bleibt noch ein lokales RAID5 auf den pve's und vielleicht eine regelmäßige Replikation, aber RAID ist ja auf dem absteigenden Ast, wegen Bit-Rot & co. - und so ein verteilter Speicher hat schon seinen Reiz.

Jetzt würde mich mal interessieren - was habt Ihr so für Erfahrungen gemacht, könnt Ihr was empfehlen? Sicher kommts auf mehr drauf an (welche Art von Zugriffen soll stattfinden, z.B Datenbank oder Datei-Ablage, etc.). Hier würde ich aufs Mittelfeld setzen - von allem etwas. Es soll ja eine Spielwiese für vielerlei Sachen sein.

Platten habe ich derzeit einige 2,5" SAS-Platten mit 10k Umdrehungen/Min. Ich dachte mal, die wären recht performant, aber natürlich kein Vergleich zu SSDs. Aber die sind halt noch recht teuer, zumindest die für den Servereinsatz geeigneten. Aber an dieser Stelle würde mich auch mal etwas interessieren: Wenn ich verteilten Speicher wie GlusterFS oder Ceph verwende, verliere ich an IOPS durch das Netzwerk (bei mir ist übrigens 10 GBit/s vorhanden). Machen das dann SSDs wieder wett, oder ist die Performance trotz Netzwerklatenz besser als bei einem DAS mit SAS-HDDs? Habt Ihr hier Erfahrungswerte?

Ich habe mich schon viele, viele Stunden durch Foren gelesen, Tutorials gewälzt und recherchiert ohne Ende. Aber zu einem sinnvollen Ergebnis bin ich mittlerweile noch nicht gekommen. Vielleicht könnt Ihr mir helfen?

Auf jeden Fall will ich nicht glauben, dass man nur mit viel RAM einigermaßen Performance hinbekommt. Auf der Arbeit haben wir SANS mit HDDs und 2 GB RAM und die bedienen 30-40 VMs über VMware ESX. Also sollte ich für meine 10 VMs das doch auch irgendwie gemanagt bekommen, oder täusche ich mich?

 

[crmspezi]

ZFS ist für mich immer das was man machen sollte. HDD oder SSD ist nicht so entscheidend, ich habe HP's mit 25 x 900 GB im ZFS -Raid 10. Nur der RAM macht da Entscheidendes. Fange nicht unter 16GB ZFS ARC an, also min. 128GB RAM, besser 384GB.

Ich kann wirklich nur sagen, was hilft gegen PS, noch mehr PS. Das stimmt bei ZFS immer. Aber dann explodiert die Performance gewaltig! CEFS ist viel zu langsam ohne ganz viele TB RAM, NVME's und mind. 10GBit/s. Lass Dir da nichts anderes erzählen. Alles probiert. Hier setze ich 10/40G Netzwerke mit zrep und NAS OpenMediaVault ein. Läuft gut, kostet aber auch mehr als ein Mittelklassewagen bei viel RAM mit großem SSD Storage. Sonst lass besser ZFS sein und nimm LVM. Ich habe hier mehrere Monate auch "gelitten". Deshalb habe ich mittlerweile 3TB RAM im "Bastel-Cluster".

ZFS ist ganz sicher nichts für das HomeLab, auch wenn man Dir was anderes erzählen will!

VG crmspezi

 

[H4R0]

Converged Storage wie glusterfs und ceph geht erst ab 3 nodes wegen split brain. Außerdem brauchst du 10G/40G nics.


ZFS kann problemlos mit 4GB RAM betrieben werden, musst du nur einstellen.. Stichwort ARC. Je mehr desto besser.

Bei 2 nodes macht ZFS Replikation am meisten sinn oder halt shared storage.

Nimm die Platten die du hast als stripped mirror und pack eine M.2/U.2 SSD als L2ARC/SLOG dazu.

Raid5/Raid6/RaidZ ist für performance (iops) grottig.

 

[crmspezi]

Converged Storage wie glusterfs und ceph geht erst ab 3 nodes wegen split brain. Außerdem brauchst du 10G/40G nics.


ZFS kann problemlos mit 4GB RAM betrieben werden, musst du nur einstellen.. Stichwort ARC. Je mehr desto besser.

Bei 2 nodes macht ZFS Replikation am meisten sinn oder halt shared storage.

Nimm die Platten die du hast als stripped mirror und pack eine M.2/U.2 SSD als L2ARC/SLOG dazu.

Raid5/Raid6/RaidZ ist für performance (iops) grottig.

Vergiss den Vorschlag von H4R0 und die M.2/U.2 SSD als L2ARC/SLOG. Du hast ganz sicher kein Sync-Write. Und mit wenig RAM machst Du mit dem L2ARC auch alles schlimmer, nicht besser. Was hilft ist nur PS (RAM).

 

[antimon]

Danke für eure Antworten - spannender hätts nicht sein können, die Meinungen gehen da ja mächtig auseinander

Okay, was ich kapiert habe: 10 GBit Ethernet ist Muss. Das ist auch kein Thema, das haben meine Nodes.
Ein ursprünglicher Gedanke war einmal, den 3. Node ohne Storage (also nur Monitor) auf nem Raspi laufen zu lassen. Aber das scheint wohl auch keine gute Idee zu sein...

@crmspezi: Ich denke, du hast vollkommen Recht, mehr PS ist sicher nicht schlecht. Aber da stimmen für mich Kosten/Nutzen nicht mehr. Selbst in der Arbeit hat der größte ESX "nur" 512 Gig RAM und könnte damit sämtliche Server allein betreiben. Und wir reden hier von einer Umgebung für 1000 Clients, also auch nix ganz so kleines...

Daheim könnte ich mit 512 Gig RAM für den ARC die Zugriffe für die VMs vermutlich komplett aus dem RAM bedienen - da ist die Performance natürlich super. Aber die 10k€ sind mir dann doch etwas zu viel investiert.

Irgendwie habe ich das Gefühl, es fehlt so der Mittelweg. Ich lese viel über minimalistischste "Cluster", Leute, die mit 8 GB NUCs einen Cluster aufbauen wollen oder vielleicht sogar ausschließlich Raspis dafür verwenden - und andererseits haben manche Leute wohl ein Rechenzentrum wie ein Profi-Hoster im Keller stehen.

Gibts da nicht was Gutes dazwischen für Leute wie mich, die ihre VMs für die Hausautomatisierung laufen lassen wollen, dann nen Medienserver, 3-4 Windows-VMs und vielleicht noch 4-5 Linux-VMs? Dafür LVM als Unterbau finde ich fast etwas "wenig", davon abgesehen dass es kein Shared Storage ist... aber was wäre jetzt eine Stufe darüber, ohne gleich einen riesen Sprung (auch kostentechnisch!) machen zu müssen?
Oder was gäbe es für günstige (gebrauchte) Hardware mit vielen, vielen GB RAM? Ich find meinen Server mit 128 GB RAM auch ganz nett, aber für den Dauerbetrieb braucht der mir mit 250 W einfach zu viel Strom. Die 32 Gig-Maschinen kommen mit je 50 W da deutlich besser bei weg...

 

[Dunuin]

Aber die 10k€ sind mir dann doch etwas zu viel investiert.

Da solltest du dich dann beeilen wegen dem Chia-Hype gerade. Die großen HDDs sind schon komplett ausverkauft Deutschlandweit und bei mittelgroßen hat sich der Preis die letzten 2 Wochen verdoppelt. Laut ADATA verkaufen die jetzt auch gerade 400-500% mehr SSDs als sonst. Wegen Crypto-Mining sind jetzt neben den GPUs auch die SSDs/HDDs Mangelware.

Gibts da nicht was Gutes dazwischen für Leute wie mich, die ihre VMs für die Hausautomatisierung laufen lassen wollen, dann nen Medienserver, 3-4 Windows-VMs und vielleicht noch 4-5 Linux-VMs? Dafür LVM als Unterbau finde ich fast etwas "wenig", davon abgesehen dass es kein Shared Storage ist... aber was wäre jetzt eine Stufe darüber, ohne gleich einen riesen Sprung (auch kostentechnisch!) machen zu müssen?

Ich finde ZFS ist ok für das Homelab. Ich habe hier 3 Server stehen:

1.) Haupt-NAS mit FreeNAS drauf. 32GB RAM, 4x 8TB HDDs als Datengrab, 2x 120GB Consumer SSDs fürs System und 3x 400GB Enterprise SSDs als LAN-HotStorage.

2.) Backup-NAS mit FreeNAS drauf. 16GB RAM, 4x 8TB HDDs als Replikationsziel, 2x 120GB Consumer SSDs fürs System.

3.) Proxmox Hypervisor. 64GB RAM, 2x 100GB Enterprise SSDs als Systemlaufwerke, 5x 200GB Enterprise SSDs als VM Storage (raidz1). Laufen tun da 1x Windows VM, 3x Debain LXCs, 2x FreeBSD VMs (OPNsense), 19x Debian VMs.

Alle Laufwerke nutzen ZFS. Raidz1 im Hypervisor ist etwas suboptimal, da wäre ein Stripped Mirror wirklich besser als VM Storage, aber dann würde mir einfach die Kapazität fehlen. Und ehrlich gesagt tut es das auch so. Die SSDs sind schnell genug, dass es da trotz raidz1 nicht zum Engpass kommt. ARC habe ich im Hypervisor auf 8GB begrenzt und ist für mich noch völlig ausreichend. Aber auch hier ist die Hitrate nicht wirklich so wichtig. Wenn etwas mal nicht im ARC liegt dann wird es halt statt aus dem RAM von der SSD geladen. Die ist schnell genug, dass das nicht stört.
Problematisch war die "dnode cache" Auslastung mit nur 8GB. Da habe dann aber statt den ARC zu vergrößern einfach etwas von dem wenig ausgelasteten "metadata cache" abgezweigt und damit den "dnode cache" vergrößert.

In den FreeNAS-Servern sind die Laufwerke auch als raidz1 angebunden. Selbst das Backup-NAS mit seinen 16GB RAM für 32TB Storage kann die Gbit NIC voll auslasten.

Ist wohl auch immer etwas die Frage was man da für Ansprüche stellt. Mir ist da die Datensicherheit wichtig und da tut ZFS seinen Dienst. Und mit SSDs ist ZFS für daheim schnell genug. Problematisch wird es wohl eher wenn du versuchst VMs von einem Pool aus HDDs laufen zu lassen. Davon würde eher abraten. Durch die ganze Write Amplification durch ZFS und Virtualisierung und die ganzen parallelen Zugriffe von all den VMs sind die HDDs sofort am Limit und schaffen die IOPS nicht.

Ich würde da an deiner Stelle wohl am ehesten zu 4 oder 8 gleichen Enterprise SSDs greifen. Da dann je 2 oder 4 Stück als Mirror (Raid1) oder Stripped Mirror (Raid10) in jeden der beiden Nodes und dann Replikation nutzen, damit auf beiden Nodes immer die selben Daten vorhanden sind. Wenn du dann noch einen Cold-Storage brauchst kannst du immer noch HDDs hinzufügen und die per NFS in die VMs bringen. Hier wird es dann aber wirklich etwas eng mit dem RAM, wenn du auf den Nodes mit nur 32GB RAM wirklich neben all den VMs auch noch ZFS für große Mengen an Daten laufenlassen willst.
Da würde dann vielleicht wirklich ein dritter Node Sinn machen der als NAS dient und die 32GB RAM ausschließlich als Cache nutzt und keine VMs laufen hat.

 

[pakuzaz]

Alter pc 4 Festplatte rein und mit dem kostenlosen euronas rumspielen.
Der Support ist auch klasse von denen

 

[antimon]

Laufen tun da 1x Windows VM, 3x Debain LXCs, 2x FreeBSD VMs (OPNsense), 19x Debian VMs.

Das kommt meinem Anwendungsfall doch schon näher
Was sind das denn für SSDs? Neue oder gebrauchte? Bei Enterprise-SSDs hätte ich auch kein Problem, für daheim Gebrauchte zu kaufen, solange noch nicht so viele TBWs verbraucht sind... aber die Neuen kosten ja auch ohne Mining-Engpass noch recht viel. Wie gesagt, HomeLab - mein Hobby kostet mich schon viel Geld, irgendwo muss man die Grenze ziehen. Aber gut, wenn das der einzige sinnvolle Weg ist, muss ich da halt mal investieren.

Meinen Bulk Storage habe ich auf einem Synology NAS liegen, das spiegelt sich auf 2 andere NASse - damit bin ich auch recht zufrieden. Mir gehts ned um großen Speicher, sondern um Performance hauptsächlich für die VMs. Und ums Lernen. Ich arbeite zwar schon seit zig Jahren in der IT, aber man kann sich ja nicht um alles gleichzeitig kümmern - jetzt ist mal der Storage dran Und ich nehme auch viel mit für die Firma, die ja auch immer größere Anforderungen hat.
@Dunuin bei deinen 25 VMs - wie verhält sich der iowait bei dir? Gibts da Probleme oder rennt das sauber durch?

@pakuzaz Das Euronas sieht ganz interessant aus - allerdings habe ich da nicht so viele Infos gefunden. Was kann das, was das TrueNAS nicht kann?

Was ich ganz interessant finde: Von Ceph / GlusterFS ist hier quasi nicht die Rede. Ist das fürs HomeLab uninteressant oder habt Ihr Euch aus anderen Gründen dagegen entschieden?
Fiber Channel hätte ich eigentlich auch ganz interessant gefunden, da die Hardware recht günstig hergeht. Aber irgendwie mangelts da an einem vernünftigen Pendant zu VMFS für Proxmox - damit ist das Ganze eigentlich nicht nutzbar.

NVMe als Speicher ist sicher besser als per SAS angebundene SSDs, das ist mir auch klar - allerdings haben meine Server keine Steckplätze dafür und auch keine freien PCIe-Slots, also klappt das leider nicht.

Zusammenfassend würde ich sagen, gehts also in Richtung ZFS - da evtl. den ARC begrenzen, damit genug RAM für VMs übrig bleibt. Ich dachte an eine Intel Optane für L2ARC, was meint Ihr dazu?
Habt Ihr eure Server auch unter dem Aspekt des Stromverbrauchs zusammengestellt? Wenn ja, was waren dafür ausschlaggebende Kriterien?

 

[Dunuin]

Was sind das denn für SSDs? Neue oder gebrauchte? Bei Enterprise-SSDs hätte ich auch kein Problem, für daheim Gebrauchte zu kaufen, solange noch nicht so viele TBWs verbraucht sind...

Ich hatte da zu gerbrauchten Intel S3700 bzw S3710 mit SATA gegriffen, weil die so extrem robust sind (bin hier wegen der ganzen Write Amplification bei rund 900GB pro Tag an Writes im Idle). Da gab es den Terrabyte für rund 130€ mit nur 0-2% Abnutzung laut SMART. Hatte mir vorher immer Screenshots von der SMART-Ausgabe geben lassen. Die haben da ganze 21125 TBW je TB da sie MLC NAND benutzen. Da wirken Consumer SSD mit TLC/QLC NAND wie die Samsungs QVO/EVO/PRO mit ihren 360-1200 TBW je TB recht lachhaft gegen.

@Dunuin bei deinen 25 VMs - wie verhält sich der iowait bei dir? Gibts da Probleme oder rennt das sauber durch?

Iowait ist laut Monitoring im Schnitt bei 0,05%. Einmal am Tag gibt es einen Snapshot von allen VMs, da steigt dann kurzzeitig iowait auf 4-6%. Und ist wie gesagt raidz1 und nicht gerade ideal für VMs.

Was ich ganz interessant finde: Von Ceph / GlusterFS ist hier quasi nicht die Rede. Ist das fürs HomeLab uninteressant oder habt Ihr Euch aus anderen Gründen dagegen entschieden?
Fiber Channel hätte ich eigentlich auch ganz interessant gefunden, da die Hardware recht günstig hergeht. Aber irgendwie mangelts da an einem vernünftigen Pendant zu VMFS für Proxmox - damit ist das Ganze eigentlich nicht nutzbar.

Ich hätte Ceph auch interessant gefunden, aber das ging mir dann doch etwas zu sehr ins Geld. Im Idealfall betreibt man dann ja auch gleich 3 oder 4 Nodes und hat alles dreifach gesichert über die Nodes verteilt. Und minimum 10Gbit NICs sind quasi ein muss, was ich mir auch erst später aufgerüstet habe.

Zusammenfassend würde ich sagen, gehts also in Richtung ZFS - da evtl. den ARC begrenzen, damit genug RAM für VMs übrig bleibt. Ich dachte an eine Intel Optane für L2ARC, was meint Ihr dazu?

Wenn man ordentliche SSDs nimmt sollte L2ARC eigentlich überflüssig sein. Klar ist so eine Optane latenzärmer als eine normale SATA/SAS SSD, aber ob man das wirklich merkt wage ich zu bezweifeln. Würde ich erst einmal gucken ob es nicht auch ohne geht. Nicht vergessen dass da ein L2ARC auch RAM klaut, da alles was auf der Cache-SSD liegt dann auch zusätzlich noch Platz im RAM einnimmt. Damit hat dann ZFS von dem schnellen RAM noch weniger zur Verfügung als ohnehin schon.

Habt Ihr eure Server auch unter dem Aspekt des Stromverbrauchs zusammengestellt? Wenn ja, was waren dafür ausschlaggebende Kriterien?

Meine Server sind eher so gewachsen und liegen jetzt zusammen bei grob 250W. Hatte es halt erst mit keinen stromsparenden Systemen versucht, aber da fehlte einfach die Leistung und Erweiterbarkeit. So bin ich dann vom Raspberry Pi über ITX Atom Mini-PC über E3 Xeon zum E5 Xeon gekommen. Wichtig war mir primär erst einmal, dass das meine Anforderungen erfüllt und bezahlbar ist. Zu alt wollte ich meine HArdware aber wegen den Stormkosten auch nicht haben. Habe da glaube ich einen guten Mittelweg gefunden.
Der Hypervisor war z.B. gebraucht nur 300€ und hatte dann noch für 400€ aufgerüstet. 8 Kerner E5 Xeon, 64GB ECC DDR4 RAM, 10Gbit NIC, Supermicro Mainboard mit IPMI, M.2 und 32 PCIe Lanes, 900W 80+ Gold Netzteil, leises Rackgehäuse, GT710 für Passttrough, ...da kann man für 700€ schon echt nichts sagen. Braucht dann zwar auch 120W aber finde ich für die Leistung dann noch voll ok.
Inzwischen ist der Server aber auch schon wieder am Limit was RAM, PCIe Slots und CPU-Kerne angeht. Irgendwann muss ich da wohl auch noch zum 16 Kerner mit 128-192GB RAM und ATX Board mit 7 PCIe Slots aufrüsten.

 

[antimon]

Hmm okay die S3700 hab ich mir auch schon mal angeschaut, die scheinen sehr robust zu sein. Klingt gut. Ich hatte mal MX500 zum Test drin, aber die haben schon 10 % ihrer Lebenszeit erreicht - bei VMs geht sowas halt schnell.

Eigentlich hatte ich mal den Traum, Computing und Storage schön skalierbar zu benutzen... idealerweise läuft nachts/bei Abwesenheit nur ein sehr stromsparender Node - bei Bedarf (wenn grad aktiv gearbeitet wird) werden mehrere Systeme gestartet und laufen zusätzlich mit. Das Verschieben von VMs und Storage könnte man sicher gut skripten, aber leider gibt es nicht wirklich stromsparende "kleine" Systeme, die dafür geeignet sind - zumindest habe ich keine gefunden.
Vermutlich ist da sogar ein "großer" Server mit ordentlich RAM die bessere, weil unterm Strich stromsparendere Wahl. Aber ich möchte halt ungern wieder neue Hardware kaufen, gerade in diesen Zeiten...

120 W finde ich für deine Maschine gar ned schlecht... was ist das für ein Supermicro Board? Und 700 € ist dafür echt ned schlecht...

Was haltet Ihr eigentlich von einem Storage-Server (z.B. TrueNAS), auf den dann die Proxmox-Server zugreifen? Das fände ich auch nicht schlecht, aber wie ist sowas in der Praxis von der Performance her? Hat da wer Erfahrungen mit gemacht?

 

[Dunuin]

Hmm okay die S3700 hab ich mir auch schon mal angeschaut, die scheinen sehr robust zu sein. Klingt gut. Ich hatte mal MX500 zum Test drin, aber die haben schon 10 % ihrer Lebenszeit erreicht - bei VMs geht sowas halt schnell.

Neue Enterprise SSDs gingen aber eigentlich auch vom Preis. Die neuere Intel S4610 960GB gab es z.B. unbenutzt vor Chia ab 190€ (jetzt ab 272€). Die hat jetzt nicht soooo viel TBW (6000 TB) da nur TLC NAND aber immer noch besser als die 600 TB was die meisten consumer SSDs bieten. Und weil Enterprise SSD mit Powerloss Protection ist auch die Write Amplification bei Sync Writes nicht ganz so übel und halt generell bessere Performance auf dauerhaften höheren Lasten. Da kann man dann auch echt nicht meckern, wenn man bedenkt, dass da eine Samsung 860 EVO 1TB mit nur 1/10 der Haltbarkeit auch schon 100€ kosten.

Eigentlich hatte ich mal den Traum, Computing und Storage schön skalierbar zu benutzen... idealerweise läuft nachts/bei Abwesenheit nur ein sehr stromsparender Node - bei Bedarf (wenn grad aktiv gearbeitet wird) werden mehrere Systeme gestartet und laufen zusätzlich mit. Das Verschieben von VMs und Storage könnte man sicher gut skripten, aber leider gibt es nicht wirklich stromsparende "kleine" Systeme, die dafür geeignet sind - zumindest habe ich keine gefunden.
Vermutlich ist da sogar ein "großer" Server mit ordentlich RAM die bessere, weil unterm Strich stromsparendere Wahl. Aber ich möchte halt ungern wieder neue Hardware kaufen, gerade in diesen Zeiten...

Würde ich mit dem Wissen von heute neue Hardware kaufen und hätte ich nicht bereits schon so viel, dann würde ich wohl einfach einen gebrauchten großen Server kaufen statt viele kleine. Macht es ja doch effizienter wenn man nicht alles mehrfach betreibt. Ausgeschalteter Server mit IPMI braucht z.B. 20W. Da schlucken dann 3x IPMI auch schon 60W und man könnte sich 40W sparen. Das gleiche mit CPU, Chipsatz, RAM, ...
Hat ja auch alles im Leerlauf einen gewissen Grundstromverbrauch den man sich sparen könnte.
Im Idealfall hätte ich da einen 16 Kern Xeon der mit relativ niedrigen Taktraten läuft für bessere Energieeffizienz, 8x 32GB ECC RAM und 7 PCIe Slots mit Bifurikation übers Mainboard. Gerade die PCIe Slots und viele PCIe Lanes wären sehr wichtig, dass da viele Erweiterungskarten rein könnten. Mal als Beispiel was ich hier habe an Karten:
- 2x HBA für je 8x SATA (2x PCIe 8x) für eine TrueNAS VM
- 1x 10Gbit NIC falls nicht schon onboard(PCIe 8x oder PCIE 4x)
- 1x Karte für zwei M.2 slots (PCIe 8x als elektrische 4x4)
- 1x 10Gbit NIC oder Quad Gbit NIC für OPNSense VM (PCIe 8x oder PCIe 4x)
- 2x Geforce GT710 für Passthrough an die Win10 VMs damit Videowiedergabe nicht ruckelt (gibt es als PCIe 1x Version)
- 1x eine größere GPU mit viel RAM die für Encoding oder Maschinelles Lernen genutzt werden könnte (PCIe 16x)

Wenn man da all die PCIe Lanes zusammenrechnet, dann sieht man schnell, dass man da mit normaler Consumer-Hardware oder günstiger Enterprise Hardware (E3 Xeons etc) nicht weit kommt, weil die ja CPUs dann ja höchstens 24 PCI-Lanes liefern.

120 W finde ich für deine Maschine gar ned schlecht... was ist das für ein Supermicro Board? Und 700 € ist dafür echt ned schlecht...

Hypervisor (Proxmox):
Case: 1x Inter-Tech 4U-4088-S (60€ + 20€ für leisere Lüfter)
Mainboard: 1x Supermicro X10SRM-F (war im Server für 300€)
CPU: 1x Intel Xeon E5-2620v4 (8 core, 2.1-3 GHz) (war im Server für 300€)
RAM: 4x 16GB DDR4 2400 ECC (Samsung M393A2K40BB1-CRC) (2x waren im Server für 300€, zwei weitere für je 60€ nachgekauft)
Boot-Pool: 2x 100GB SSDs als mdraid mirror (Intel S3700 100GB) (20€)
VM-Pool: 5x 200GB SSDs als raidz1 (4x Intel S3710 + 1x S3700) (1x war schon im Server für 300€, 4x für je 30€ nachgekauft)
HDD-Pool: 2x 3TB HDDs als ZFS mirror (Seagate ST3000DM001) (hatte ich noch rumliegen)
GPU: Geforce GT710 (war schon im Server für 300€)
NIC: Mellanox Connect-X3 (MCX311A-XCAT) (35€)
PSU: Supermicro 900W 80+ gold (war schon im Server für 300€)
Heatsink: 92mm tower cooler (war schon im Server für 300€)

Das hier war dann noch im 300€ Server und ist nun über:
1x Supermicro Midi-Tower mit 120mm Lüftern und Slots für 4x 2,5", 4x 3,5"
1x 2TB Enterprise HDD
1x Intel Gbit NIC

Was haltet Ihr eigentlich von einem Storage-Server (z.B. TrueNAS), auf den dann die Proxmox-Server zugreifen? Das fände ich auch nicht schlecht, aber wie ist sowas in der Praxis von der Performance her? Hat da wer Erfahrungen mit gemacht?

Habe ich selbst nicht getestet, aber IOPS sollten vermutlich nicht so der Brüller sein, wenn da alles z.B. per NFS über die NIC läuft und man sich entsprechende Latenzen einfängt. Aber wäre natürlich auch eine Option zum CEPH oder ZFS mit Replikation wenn du einen Shared Storage für mehrere Nodes brauchst. Hättest du aber auch wieder das Problem, dass da nicht der Storage-Server ausfallen darf, weil dann kein Node mehr laufen würde. iSCSI sollte performanter als NFS sein, das geht dann aber wieder nicht als Shared Storage und wenn ich das richtig verstanden habe, braucht man da mit iSCSI bei TrueNAS unter 128GB RAM und 10Gbit NIC garnicht erst anfangen.

 

[antimon]

Hmm okay... also ich sehe schon, meine ursprüngliche Idee macht wohl immer weniger Sinn. Durch die Arbeit und den dort vorhandenen FiberChannel SANs war ich eigentlich immer auf dem Trip: Möglichst zentralen Storage bereitstellen und dann die Computing Ressourcen dadrauf zugreifen lassen. Aber ich habe mir schon gedacht, dass es Performance-Einbußen geben muss, denn ich habe bei jedem Zugriff ja immer noch die Latenzzeit des Netzwerks dazwischen...
Aber wie machen das die großen Rechenzentren? Ich dachte da ist der Storage von den Computing Resourcen getrennt?

Dann werde ich wohl meinen "großen" Server mit Supermicro X9DRi-F und den zwei Xeon E5 mit 128 GB RAM zum Hauptserver machen... RAM könnte ich da zum Glück auch noch nachrüsten, aber da wäre sogar erst mal genug für ZFS vorhanden. Dann muss ich nur noch schauen, dass ich die CPUs so kühlen kann, dass sie leise genug für neben dem Arbeitstisch sind Und dann da SSDs rein - wobei ich da sogar ein paar PCIe-Slots hätte, in die ich NVMe's einbauen könnte...
Und die beiden X10SL7-F nehm ich dann für die Replikation und für Tests her - mit je 2 PCIe Steckplätzen und der gesteckten 10 G-Karte ist da eh kein Platz mehr, wenn die FC-Karte rausfliegt, hab ich wenigstens noch nen Reserveslot. Aber bei 32 GB ist da halt leider Schluss...

Dann noch die OPNsense virtualisieren und da auch ein paar Watt einsparen.
Fehlen noch zwei Raspis fürs Quorum und ich kann meinen Cluster mit 3 Servern, von denen meistens nur einer läuft, trotzdem betreiben.

Gibt's eigentlich irgendwo Erfahrungswerte, wie viele VMs ungefähr pro SSD halbwegs performant laufen können? Also nur über den Daumen gepeilt, natürlich hängts vom Server ab etc. - aber wenn man mal von nem Durchschnitts-Server ohne große Last ausgeht, der eigentlich die meiste Zeit nur rumdümpelt...

 

[Dunuin]

Hmm okay... also ich sehe schon, meine ursprüngliche Idee macht wohl immer weniger Sinn. Durch die Arbeit und den dort vorhandenen FiberChannel SANs war ich eigentlich immer auf dem Trip: Möglichst zentralen Storage bereitstellen und dann die Computing Ressourcen dadrauf zugreifen lassen. Aber ich habe mir schon gedacht, dass es Performance-Einbußen geben muss, denn ich habe bei jedem Zugriff ja immer noch die Latenzzeit des Netzwerks dazwischen...
Aber wie machen das die großen Rechenzentren? Ich dachte da ist der Storage von den Computing Resourcen getrennt?

Die haben aber auch 100Gbit oder 200Gbit NICs die deutlich weniger Latenz haben. Und Infiniband ist da ja auch noch deutlich performanter als z.B. Enternet daheim. Kann man natürlich auch alles daheim haben, aber dann geht das auch echt ins Geld. Da kostet die Netzwerk-Infrastruktur ja gerne gleich mal mehr als der Server an sich.

Dann werde ich wohl meinen "großen" Server mit Supermicro X9DRi-F und den zwei Xeon E5 mit 128 GB RAM zum Hauptserver machen... RAM könnte ich da zum Glück auch noch nachrüsten, aber da wäre sogar erst mal genug für ZFS vorhanden. Dann muss ich nur noch schauen, dass ich die CPUs so kühlen kann, dass sie leise genug für neben dem Arbeitstisch sind Und dann da SSDs rein - wobei ich da sogar ein paar PCIe-Slots hätte, in die ich NVMe's einbauen könnte...

Wenn dein X9DRi-F Bifurikation hat wie mein X10SRM-F, dann kannst du auch sowas einbauen. Hatte ich mir mal für 40€ gekauft um da zwei Samsung Evos einzubauen und klappte ganz gut, musste dann aber wieder raus da die Evos kein Jahr überlebt hätten. Wichtig ist da halt die Bifurikation, dass du da den 8x Slot als 4x4 per BIOS schalten kannst, da sonst nur einer der beiden M.2 Slots gehen würde, da die Karte kein Bifurikations-Chip besitzt.

Dann noch die OPNsense virtualisieren und da auch ein paar Watt einsparen.

Da ist es wieder sehr praktisch wenn man 2 Server hat. Ich habe da bei mir sowohl auf dem Proxmox Hypervisor als auch auf dem FreeNAS eine OPNsense VM laufen. Die laufen beide parallel im Master-Slave Modus und wenn eine VM nicht errreichbar ist, dann springt die andere innerhalb von Sekunden sein. Beide teilen sich auch die selbe virtuelle IP und halten sich inkl Packet States immer im Hintergrund synchron. So kann ich dann auch das automatische Backup eingeschaltet lassen und mein Internet funktioniert noch, selbst wenn ich mal einen Server neustarte oder warte. Musst du mal hier gucken.

Gibt's eigentlich irgendwo Erfahrungswerte, wie viele VMs ungefähr pro SSD halbwegs performant laufen können? Also nur über den Daumen gepeilt, natürlich hängts vom Server ab etc. - aber wenn man mal von nem Durchschnitts-Server ohne große Last ausgeht, der eigentlich die meiste Zeit nur rumdümpelt...

Glaube sowas ist sehr schwer zu sagen. Die SSDs unterscheiden sich ja extrem und jede VM hat andere Workloads.
Guck z.B. mal in das ZFS Benchmark Paper. Da macht eine Consumer SATA SSD MX500 nur 254 IOPS mit und die Enterprise NVMe SSD P3700 75162 IOPS.

 

[antimon]

Ja, das kann ich nur unterstreichen... mein Upgrade auf 10 G hat schon einiges gekostet, aber das ist halt schon praktisch. Aber natürlich hauptsächlich, wenn man mehrere Server nutzt Gut, ich denke längerfristig werde ich schon mehrere Server laufen lassen, aber nach der letzten Stromrechnung ist erst mal ein wenig Optimierung nötig...
Ob das Board Bifurikation kann, muss ich noch herausfinden - da bin ich aber eigentlich recht entspannt, da ich da mehrere PCIe-Slots habe im Gegensatz zu den "kleinen" Boards.

Ich hatte mal das Failover für die OPNsense in Betrieb, war aber ehrlich gesag nicht ganz so zufrieden. Das hat immer wieder Probleme gemacht, entweder hab ich was falsch konfiguriert oder es lag an was anderem. Aber allein schon das WAN-Interface, das bei mir leider hinter einer FritzBox liegt, ist nicht ganz so einfach. Ich glaube aber auch dass ich die Absender-IP nicht korrekt gesetzt hatte und die Fritzbox damit dann nicht zurecht kam. Das werd ich mir noch mal anschauen, hatte ich eh vor, dass ich mich damit noch mal beschäftige.

Okay, dass die P3700 so viele IOPS mehr macht, ist echt interessant. Ich habe zwar viele Tests und Vergleiche gelesen, aber das ist schon heftig. Da muss ich mich mal nach nach umsehen - das ist bei mir momentan auch der Flaschenhals.
Hast du (oder gern auch wer anders) einen heißen Tip, wo man gebrauchte SSDs herbekommt? Bei eBay Kleinanzeigen ist nicht so viel drin und bei servershop24 beispielsweise auch nicht... wie kommt man günstig an Hardware? Dann würd ich mir einige SSDs zulegen und gut is...

 

[Dunuin]

Ich glaube aber auch dass ich die Absender-IP nicht korrekt gesetzt hatte und die Fritzbox damit dann nicht zurecht kam. Das werd ich mir noch mal anschauen, hatte ich eh vor, dass ich mich damit noch mal beschäftige.

Bei mir klappt das gut hinter der Fritzbox. War nur mit dem Mix aus Linux und FreeBSD etwas nervig. Meine NIC konnte unter FreeNAS z.B. keine CARP-Pakete versenden. Selbe NIC im Proxmox hatte damit keine Probleme. Und ohne CARP-Multicast-Pakete konnten sich die OPNsenses nicht gegenseitig sehen und beide waren immer im Master-Mode. Musst du sonst mal nach dem Verlinkten Tutorial versuchen. Das fand ich recht gut.

Okay, dass die P3700 so viele IOPS mehr macht, ist echt interessant. Ich habe zwar viele Tests und Vergleiche gelesen, aber das ist schon heftig. Da muss ich mich mal nach nach umsehen - das ist bei mir momentan auch der Flaschenhals.
Hast du (oder gern auch wer anders) einen heißen Tip, wo man gebrauchte SSDs herbekommt? Bei eBay Kleinanzeigen ist nicht so viel drin und bei servershop24 beispielsweise auch nicht... wie kommt man günstig an Hardware? Dann würd ich mir einige SSDs zulegen und gut is...

Ich gucke auch schon immer. Die letzten Monate konnte ich weder bei eBay noch eBay Kleinanzeigen etwas günstiges finden. Und wie gesagt ist das ab jetzt wohl eh ein ganz schrieriges Thema wegen Chia. Denke da wird sich jetzt ebenfalls auf den Gebrauchtmarkt gestützt wenn alle neue nur zu Wucherpreisen gehandelt werden (50% Preisanstieg in den letzten 2 Wochen). Und so eine SSD bekommt man beim Chia-Plotten ja in Wochen bis Monaten kaputtgeschrieben. Da wird dann bestimmt bald der Gebrauchtmarkt mit fast totgeschriebenen SSDs geflutet.

 

[antimon]

So, die zweite OPNsense ist schon mal vorbereitet, bin schon gespannt wie zuverlässig das Failover dann funktioniert. Aber der Tip mit dem LAGG von Thomas Krenn schaut vielversprechend aus - ich wusste vorher nicht, dass er das physikalische Interface mit berücksichtigt. Vielleicht kamen meine Probleme daher... bin gespannt!

Danke noch mal für den Tip mit den SSDs - ich habe gerade eine Anfrage zwecks SSD am Laufen. Der Händler hätte die Intel P3600 mit 1,6 TB oder die S3700 mit 800 GB im Angebot für unter 250 € - das klingt recht interessant, wie ich finde. Ich muss nur noch in Erfahrung bringen, wie viele TBW die schon hinter sich haben. Aber die P3600 hat sogar deutlich bessere Daten als die S3700, obwohls wohl ne Generation älter ist?!

Würden dann bei den Eckdaten zwei gespiegelte 3600'er für 10-15 VMs reichen, bei der Performance?

 

[Dunuin]

Aber die P3600 hat sogar deutlich bessere Daten als die S3700, obwohls wohl ne Generation älter ist?!

Die S3700 ist ein tick älter als die P3600. Bei die S3700 wäre noch robuster als die P3600 dafür ist die P3600 natürlich schneller weil PCIe statt SATA/SAS genutzt wird.

Würden dann bei den Eckdaten zwei gespiegelte 3600'er für 10-15 VMs reichen, bei der Performance?

Kann man schwer sagen. Ich weiß ja nicht wie stark du da die VMs parallel auslastest. Aber würde mich wundern wenn die P3600 im Homelab der Flaschenhals wäre.

 

[ironspeeder]

My two sense on euronas. I found it very easy. Especially with using iScsi on a hardware raid as well as shared disk for iso. No sacrifice of ram. Very very easy to setup. I have it running acros it's own 1 gb switch planning on upgrading to a 4GB switch here soon.