Hardwarehilfe für kleines Homelab

[BOSSJoe]

Guten Morgen zusammen,

ich bin gerade dabei mir ein kleines Homelab aufzubauen und hätte dazu ein paar kurze Fragen, speziell was die passende Hardware angeht.

Von meinem Arbeitgeber habe ich günstig drei DELL R620 Server bekommen, welche als Basis dienen sollen. Diese sind generell schon ganz gut ausgestattet, ich denke es fehlt also nicht mehr viel. Folgende Konfig haben die Server:

1. 2 x Intel Xeon E5-2670V2 mit je 10 Kernen
2. 96GB DDR3 RAM
3. 2 x 1,2TB 10k SAS Platten
4. DELL PERC H310 Mini
5. 1 x Dell Dual SD-Card Flash Modul Reader
6. 1 x Dell 10GbE Intel X520 2x SFP+ 2x 1GbE I350 Network Daughter Card
7. 1 x LAN Controller 10 Gigabit Intel X520-DA2 Dual Port

Zusätzlich habe ich noch pro Server 2 Samsung SM883 Enterprise SATA SSDs mit 960GB bekommen. Als 10G Switch soll eine Ubiquiti Unifi XG16 genutzt werden, welchen ich auch günstig bekommen konnte.

Zu meinen Fragen:

1. Ich habe gelesen das man Proxmox besser nicht auf den internen SD Karten installiert wie man das etwa für ESXi machen würde. Daher dachte ich mir noch einen PCIe auf M.2 SATA Adapter zu besorgen und dort jeweils zwei günstige M.2 SSDs (ich achte auf MLC Chips) zu verbauen. Ich würde dann dort das Betriebssystem mit einem ZFS Mirror installieren. Macht das überhaupt Sinn oder sollte ich lieber ein oder zwei normale SATA SSDs zusätzlich für das OS einbauen? Platz hab ich für insgesamt 8 2,5 Zoll Platten...

2. Ich würde gerne als Storage CEPH einsetzen wollen. Dazu habe ich die Samsung SM883 SSDs besorgt. Was ich noch nicht ganz verstehe ist, wie ich das Ganze am besten aufbaue. Sollte ich die SSDs alle zusammen in einen Pool stecken und die HDDs in einen anderen? Oder kann ich das irgendwie kombinieren? Ich hatte auch schon überlegt die HDDs lieber als ZFS Replikation einzurichten und dann als langsamen Massenspeicher für die VMs vorzuhalten. Im Prinzip geht es mir nur um eine sinnvolle Nutzung der vorhandenen HDDs. Vom Speicherplatz her sollten mir eigentlich die SSDs schon ausreichen, aber man weiß ja nie...

3. Da ich ja CEPH einsetzen möchte stört mich der DELL PERC RAID Controller. Ich werde diesen daher vom IR Mode in den IT Mode flashen. Macht das Sinn, oder sollte ich mir überlegen einen ordentlichen HBA zu besorgen?

4. Von der Netzwerkseite hatte ich mir überlegt das Storage Netzwerk für CEPH (und die eventuelle ZFS Replikation) über die Onboard 10G Ports laufen zu lassen. Ich würde alle drei Server direkt miteinander verkabeln um möglichst geringe Latenz zu bekommen. Die Cluster Kommunikation und die Kommunikation der einzelnen VMs und Container soll dann über die restlichen beiden Ports der 10G Karte und über den Switch abgehandelt werden. Wobei ich aktuell nur insgesamt 6 DAC Kabel habe. Je drei für die direkte Storage Verkabelung und dann noch einmal je einen pro Server zum Switch. Sollte das nicht für Cluster und VMs reichen kann ich hier ja noch einmal nachlegen. Was meint ihr dazu?

5. Da ich auch vor habe eine virtuelle OPNsense HA Lösung auf dem Cluster aufzubauen habe ich mir die noch freien 1G Ports für die OPNsense VMs aufgehoben. Ich würde die Netzwerkports dann an die VM direkt durchreichen. Macht das Sinn oder habt ihr eine bessere Idee?

6. Und da man ja ab und an auch mal einen NAS Share benötigt wollte ich FreeNAS als virtuelle Maschine auf dem Cluster installieren. Ich habe keine riesigen Datenmengen für das NAS und ich spare mir ein viertes System inkl. Stromverbrauch. Hab mal grob überschlagen, ich komme auf ca. 200-250GB max. für das NAS... Was meint ihr? Bessere Ideen höre ich gerne.

So ich glaube das reicht erst einmal. Ich würde mich echt freuen wenn ihr mir meine Anfängerfragen beantworten könntet damit ich dann bald auch mit dem Aufbau des Homelab beginnen kann.

Vielen Dank schon einmal für die Hilfe.

Gruß

Joe

 

[Dunuin]

Guten Morgen zusammen,

ich bin gerade dabei mir ein kleines Homelab aufzubauen und hätte dazu ein paar kurze Fragen, speziell was die passende Hardware angeht.

Von meinem Arbeitgeber habe ich günstig drei DELL R620 Server bekommen, welche als Basis dienen sollen. Diese sind generell schon ganz gut ausgestattet, ich denke es fehlt also nicht mehr viel. Folgende Konfig haben die Server:

1. 2 x Intel Xeon E5-2670V2 mit je 10 Kernen
2. 96GB DDR3 RAM
3. 2 x 1,2TB 10k SAS Platten
4. DELL PERC H310 Mini
5. 1 x Dell Dual SD-Card Flash Modul Reader
6. 1 x Dell 10GbE Intel X520 2x SFP+ 2x 1GbE I350 Network Daughter Card
7. 1 x LAN Controller 10 Gigabit Intel X520-DA2 Dual Port

Zusätzlich habe ich noch pro Server 2 Samsung SM883 Enterprise SATA SSDs mit 960GB bekommen. Als 10G Switch soll eine Ubiquiti Unifi XG16 genutzt werden, welchen ich auch günstig bekommen konnte.

Netter Arbeitgeber. Hätte ich auch gerne^^

Zu meinen Fragen:

1. Ich habe gelesen das man Proxmox besser nicht auf den internen SD Karten installiert wie man das etwa für ESXi machen würde. Daher dachte ich mir noch einen PCIe auf M.2 SATA Adapter zu besorgen und dort jeweils zwei günstige M.2 SSDs (ich achte auf MLC Chips) zu verbauen. Ich würde dann dort das Betriebssystem mit einem ZFS Mirror installieren. Macht das überhaupt Sinn oder sollte ich lieber ein oder zwei normale SATA SSDs zusätzlich für das OS einbauen? Platz hab ich für insgesamt 8 2,5 Zoll Platten...

Proxmox selbst schreibt nicht viel. Vielleicht 30GB pro Tag. So rein für Testzwecke würden da zwei billige 120GB Consumer SATA SSDs im ZFS Mirror reichen, sofern du da keine VMs oder Swap drauf laufen lassen willst. Nur SD Karten und USB-Sticks wären halt schnell gekillt, weil die kein Wear Leveling haben. Aber besser sind Enterprise SSDs natürlich immer auch wenn die Endurance hier nicht so wichtig wäre (vorallem wegen Lowerloss Protection und SMART Attribute die sich nicht nur aktualisieren, wenn man den Server ausschaltet).

3. Da ich ja CEPH einsetzen möchte stört mich der DELL PERC RAID Controller. Ich werde diesen daher vom IR Mode in den IT Mode flashen. Macht das Sinn, oder sollte ich mir überlegen einen ordentlichen HBA zu besorgen?

Ich habe den selben in den IT Mode geflasht. Dann ist das ein normaler LSI 9211-8i HBA und damit super für ZFS und Co geeignet. Musst du nur vorher gucken, ob dann der Dell Server nicht meckert, wenn da keine Dell-Firmware mehr auf der Karte läuft.

4. Von der Netzwerkseite hatte ich mir überlegt das Storage Netzwerk für CEPH (und die eventuelle ZFS Replikation) über die Onboard 10G Ports laufen zu lassen. Ich würde alle drei Server direkt miteinander verkabeln um möglichst geringe Latenz zu bekommen. Die Cluster Kommunikation und die Kommunikation der einzelnen VMs und Container soll dann über die restlichen beiden Ports der 10G Karte und über den Switch abgehandelt werden. Wobei ich aktuell nur insgesamt 6 DAC Kabel habe. Je drei für die direkte Storage Verkabelung und dann noch einmal je einen pro Server zum Switch. Sollte das nicht für Cluster und VMs reichen kann ich hier ja noch einmal nachlegen. Was meint ihr dazu?

Ja, wenn du HA oder CEPH nutzt, dann sollten die glaube ich immer auch irgendwie direkt verbunden sein für niedrige Latenzen für Corosync und so.

5. Da ich auch vor habe eine virtuelle OPNsense HA Lösung auf dem Cluster aufzubauen habe ich mir die noch freien 1G Ports für die OPNsense VMs aufgehoben. Ich würde die Netzwerkports dann an die VM direkt durchreichen. Macht das Sinn oder habt ihr eine bessere Idee?

Ja, PCI passthrough wäre am besten für OPNsense, falls du da noch eine NIC für frei hast. SR-IOV und passthrough würde sonst auch gut gehen, wenn sich mehrere VMs eine NIC teilen sollen.

6. Und da man ja ab und an auch mal einen NAS Share benötigt wollte ich FreeNAS als virtuelle Maschine auf dem Cluster installieren. Ich habe keine riesigen Datenmengen für das NAS und ich spare mir ein viertes System inkl. Stromverbrauch. Hab mal grob überschlagen, ich komme auf ca. 200-250GB max. für das NAS... Was meint ihr? Bessere Ideen höre ich gerne.

Wenn du nur so wenig Daten hast weiß ich nicht ob das lohnt. Sonst hätte ich gesagt HDDs an HBA hängen und den per PCI Passthrough in eine VM bringen und da dann TrueNAS installieren und in der VM einen ZFS Pool bilden. Wenn du nur so wenig Platz bruachst könntest du aber auch einfach einen Ordner von irgendeinem Storage auf dem Host selbst per Bind-Mount in einen LXC bringen und in dem LXC dann manuell einen NFS/SMB/FTP Server aufsetzen. Hast du dann zwar keine schöne GUI aber du willst ja damit auch üben^^

 

[BOSSJoe]

Hi,

vielen Dank für die Antwort.

Netter Arbeitgeber. Hätte ich auch gerne^^

Ja ich bin auch ganz zufrieden mit meinem Arbeitgeber. Aber ich glaube das war reiner Eigennutz,... ;-) Auch wenn ich mich nicht beschwere...

Proxmox selbst schreibt nicht viel. Vielleicht 30GB pro Tag. So rein für Testzwecke würden da zwei billige 120GB Consumer SATA SSDs im ZFS Mirror reichen, sofern du da keine VMs oder Swap drauf laufen lassen willst. Nur SD Karten und USB-Sticks wären halt schnell gekillt, weil die kein Wear Leveling haben. Aber besser sind Enterprise SSDs natürlich immer auch wenn die Endurance hier nicht so wichtig wäre (vorallem wegen Lowerloss Protection und SMART Attribute die sich nicht nur aktualisieren, wenn man den Server ausschaltet).

Ich denke dann werde ich einmal mit günstigen Consumer SSDs probieren. Im schlimmsten Fall muss ich halt Proxmox neu installieren. Was ich aber auch noch nicht ganz verstanden habe. Wenn ich CEPH einsetze benötige ich für meine drei Nodes ja auch drei CEPH Monitore. Diese werden ja dann auch auf diesen Consumer SSDs installiert. Beeinträchtigt das nicht meine Performance???

Ich habe den selben in den IT Mode geflasht. Dann ist das ein normaler LSI 9211-8i HBA und damit super für ZFS und Co geeignet. Musst du nur vorher gucken, ob dann der Dell Server nicht meckert, wenn da keine Dell-Firmware mehr auf der Karte läuft.

Dazu hab ich eine Anleitung im Netz gefunden. Wichtig beim flashen ist, das man nicht alles ausnullt. Die Karte muss sich am System immer noch als DELL Karte zu erkennen geben. Ansonsten bootet der Server nicht mehr.

Ja, wenn du HA oder CEPH nutzt, dann sollten die glaube ich immer auch irgendwie direkt verbunden sein für niedrige Latenzen für Corosync und so.

Dann mach ich das doch auch so. Vielleicht kann mir noch einer kurz sagen ob es besser wäre VM Traffic und Cluster Traffic auch noch einmal auf seperate Netzwerkports zu legen. Ich halte das ehrlich gesagt bei so einem kleinen Cluster für Overkill... Ich lasse mich aber gerne eines besseren belehren!

Ja, PCI passthrough wäre am besten für OPNsense, falls du da noch eine NIC für frei hast. SR-IOV und passthrough würde sonst auch gut gehen, wenn sich mehrere VMs eine NIC teilen sollen.

Hier stellt sich mir halt eine Frage. Wenn ich jetzt drei Proxmox Knoten habe und zwei virtuelle OPNsense welche als HA Cluster aggieren, wie genau mach ich das mit den Ports? Wenn ich die direkt an die VM durchreiche, kann ich ja keinen Failover mehr auf einen anderen Knoten machen, oder?

Wenn du nur so wenig Daten hast weiß ich nicht ob das lohnt. Sonst hätte ich gesagt HDDs an HBA hängen und den per PCI Passthrough in eine VM bringen und da dann TrueNAS installieren und in der VM einen ZFS Pool bilden. Wenn du nur so wenig Platz bruachst könntest du aber auch einfach einen Ordner von irgendeinem Storage auf dem Host selbst per Bind-Mount in einen LXC bringen und in dem LXC dann manuell einen NFS/SMB/FTP Server aufsetzen. Hast du dann zwar keine schöne GUI aber du willst ja damit auch üben^^

Bezüglich des TrueNAS. Warum ich TrueNAS verwenden möchte hat noch diverse andere Hintergründe. Ich würde gerne auch hier ein wenig mit Replikation und S3 synchronization herum probieren. Zwei Fliegen mit einer Klappe also. Vielleicht probier ich hier auch einmal ein HA System aufzubauen. Ich finde die Thematik halt extrem spannend.

Vielen Dank noch einmal für deine Kommentare. Ich würde mich freuen wenn noch andere Ihre Meinung kund tun könnten.

Gruß

Joe

 

[Dunuin]

Hier stellt sich mir halt eine Frage. Wenn ich jetzt drei Proxmox Knoten habe und zwei virtuelle OPNsense welche als HA Cluster aggieren, wie genau mach ich das mit den Ports? Wenn ich die direkt an die VM durchreiche, kann ich ja keinen Failover mehr auf einen anderen Knoten machen, oder?

OPNsense muss nicht die HA von Proxmox nutzen. Du kannst zwei OPNsense VMs parallel laufen lassen (NICs müssen aber gleich heißen) und dann werden die über virtuelle IPs, CARP und pfsync synchron gehalten und im Master-Slave-Mode betrieben. Siehe hier. Da muss dann Proxmox auch keine VM migrieren oder so.

Bezüglich des TrueNAS. Warum ich TrueNAS verwenden möchte hat noch diverse andere Hintergründe. Ich würde gerne auch hier ein wenig mit Replikation und S3 synchronization herum probieren. Zwei Fliegen mit einer Klappe also. Vielleicht probier ich hier auch einmal ein HA System aufzubauen. Ich finde die Thematik halt extrem spannend.

Also für Replikation brachst du kein TrueNAS. Das kannst du mit Proxmox selbst auch so machen. Da hat Proxmox extra zsync und pvecm für oder du nutzt ganz normal die ZFS kommandos ("zfs send | zfs receive").