[SOLVED] Ein neuer kompakter Homeserver muss her…

[KB19]

Ich stelle meine Frage mal in diesem Forum, da bei den Forenusern sicher genügend Erfahrung bezüglich Hardware vorhanden ist!

Die historisch gewachsene Ausgangslage sieht derzeit so aus:

• Intel NUC DCCP847DYE als KVM-Hostsystem (2 × 1.1 GHz; 120 GB mSATA-SSD; 16 GB RAM)
  Debian mit libvirt, RAW-Sparse-Images auf ext4, Hugepages, Tagged VLANs zum Switch, …
  
  
• Kleinkram wie Seagate Dockstar und Raspberry Pi (ebenfalls Debian bzw. Raspbian)
  
  
• Mehrere ältere Synology Diskstations (schwache 1- und 4-Bay Geräte; laufen nicht 24/7!)

Auf dem KVM-Host läuft eine zweistellige Anzahl von VMs, größtenteils Debian-Systeme, aber auf jeden Fall alles Linuxsysteme. Die durchschnittliche CPU-Auslastung liegt bei ca. 30%. Ich verwende derzeit ca. 12-14 TB Speicherplatz, Tendenz steigend. 90% dieser Daten sind und sollen weiterhin im Netzwerk verfügbar sein. Ein Teil davon läuft als Raid 1, ein Großteil aber ohne Absicherung. Als FS wird überall ext4 eingesetzt, nur zwei alte externe Festplatten verwenden aus historischen Gründen NTFS. Im Netzwerk kommt nahezu ausschließlich Linux zum Einsatz, nur für spezielle Video-/Audiosoftware existiert noch eine alte abgeschottete Windows 7 Installation.

Ich schiebe dieses Projekt nun schon ein gutes Jahr vor mir her. Geplant ist die Migration auf einen neuen Homeserver. Die Synology-Geräte sollen schrittweise in den Ruhestand geschickt werden. Für einige wenige verbliebene Synology Apps wird Xpenology in einer VM zum Einsatz kommen, damit die Umstellung nicht ganz so hart wird. Welches Betriebssystem für das eigentliche "vNAS" zum Einsatz kommen wird, steht noch nicht fest.

Ich habe mit Proxmox (und ZFS) bisher noch keine wirkliche Erfahrung gesammelt. Ich würde aber gerne beides auf dem neuen Homeserver einsetzen. Tests in einer KVM-VM überzeugen mich bisher sehr von den Features. Vor allem, dass Debian als Unterbau verwendet wird und in nahezu alle Dinge problemlos manuell eingegriffen werden kann, ist für mich persönlich ein großer Pluspunkt. Opensource sowieso…

Meine primären Anforderungen an eine neue eierlegende Wollmilchsau:

• Leiser Betrieb (!)
• Kompakte Größe
• Nicht zu teuer…

Erfahrungsgemäß werde ich da schnell ein Problem bekommen. Zwei Punkte sollten sich kombinieren lassen, alle drei werden wohl nicht klappen. Verguckt habe ich mich vor allem in diese Hardware:

• Gehäuse: Supermicro 721TQ-250B (inkl. 250W Netzteil)
• Mainboard: Supermicro A2SDi-4C-HLN4F oder A2SDi-8C-HLN4F
• Arbeitsspeicher: Vorerst 2 × 16 GB oder 2 × 32 GB (RDIMM/ECC) von irgendeinem Hersteller
• SSD: Wahrscheinlich 2 × 2,5" Enterprise SATA-SSD (480 GB) mit Power-Loss-Protection (gespiegelt mittels ZFS)
• HDD: Wahrscheinlich eine WD Red (SATA) mit 14 TB und vorerst eine kleinere existierende HDD (ZFS-Mirror für nur eine 2-4 TB Partition)
• Sonstiges: Eventuell ein Low-Profile USB-Controller (PCIe), um einige USB-Geräte mittels VT-d an eine VM durchzureichen. (Läuft bisher ohne VT-d.)

Den Speicherplatz von heute auf morgen mit neuen HDDs auf 2-4 × 14 TB als ZFS-Raid auszubauen, sprengt ehrlich gesagt mein Budget. Das muss schrittweise passieren bzw. kann ich bei einem Teil der Daten auf die permanente Verfügbarkeit ohne Ausfall bei einer Wiederherstellung verzichten. Im Idealfall würde ich die HDDs gerne mittels Spindown herunterfahren, wenn die dazugehörigen VMs nicht laufen. Mein NAS läuft auch nicht 24/7 und genauso würde ich es gerne mit der "vNAS" VM handhaben. Die restlichen permanent laufenden VMs kommen mit der SSD aus, wie auch schon jetzt.

Feedback dazu? Ist das so überhaupt realisierbar bzw. sinnvoll?

Meine primären Bedenken gelten der Geräusch- und Wärmeentwicklung! Das Teil muss definitiv wohnzimmertauglich sein und muss mit den sommerlichen Temperaturen von 30-32° im Innenbereich klarkommen. Bei den bisherigen Geräten gibt es da nahezu keine Probleme, wenn man sie häufig genug säubert, defekte Lüfter frühzeitig austauscht und mit minimal höherer Drehzahl im Sommer leben kann.


PS: Ausreichend dimensionierte USV ist vorhanden, 19" Technik aber nicht.

PPS: Wenn ich mir die Preise für das Projekt so ansehe, wird mir schon schlecht…

Aber ich weiß genau, dass ich mich in den Allerwertesten beiße, wenn ich jetzt an der falschen Stelle spare. Das fehlende Raid bei der NUC-SSD bereitet mir bereits seit Jahren Kopfschmerzen. Kein ECC und "nur" ext4 ebenso. Ich habe mit zweckentfremdeter Consumer-Hardware zwar sehr gute Erfahrung gemacht, ich würde es langfristig gesehen aber gerne "richtig" machen.

 

[Alwin]

Ich schiebe dieses Projekt nun schon ein gutes Jahr vor mir her.

Da würde ich noch länger schieben, momentan kriegt man eh alles ein bisschen schwerer.

Meine primären Anforderungen an eine neue eierlegende Wollmilchsau:

Unter 600 EUR wird's hier nicht gehen.

Mainboard: Supermicro A2SDi-4C-HLN4F oder A2SDi-8C-HLN4F

Auf den Atom würde ich verzichten, der ist nix fuer's virtualisieren. i3 oder AMD ryzen, beide haben ECC.

SSD: Wahrscheinlich 2 × 2,5" Enterprise SATA-SSD (480 GB) mit Power-Loss-Protection (gespiegelt mittels ZFS)

Wenn man Ausfälle dulden kann und gute Backups hat, dann brauchst nicht überall die Redundanz.

Feedback dazu? Ist das so überhaupt realisierbar bzw. sinnvoll?

Schon ein bisschen im Forum gesucht?
https://forum.proxmox.com/tags/homelab/

 

[KB19]

Da würde ich noch länger schieben, momentan kriegt man eh alles ein bisschen schwerer.

Ist ein gutes Argument

Auf den Atom würde ich verzichten, der ist nix fuer's virtualisieren.

Auf welchen Faktoren beruht diese Meinung? Meiner Ansicht nach wäre der durchaus sehr gut geeignet, wenn man mit 2 GHz pro Kern auskommt. Aber vielleicht übersehe ich da etwas?

Das Problem ist definitiv, dass es nicht viel Auswahl am Markt gibt, die meinen relativ speziellen Vorstellungen entspricht. Ich habe sage und schreibe ein anderes MB bzw. CPU (i3) gefunden, die halbwegs zusammenpassen würden. Kostet im Endeffekt gleich viel und ich müsste im Vergleich zum Supermicro MB Einbußen hinnehmen. Selbst, wenn ich mich von Mini-ITX verabschiede und z.B. zu μATX schiele, sieht es nicht besser aus. Ganz im Gegenteil.

Vielleicht ist mein Blick aber auch getrübt, weil viele Händler bei Vergleichen derzeit gar nicht aufscheinen. Dementsprechend fehlen wahrscheinlich einige Produkte in der Suche. Vielleicht sollte ich wirklich erst einmal abwarten, wie sich die COVID-19 Krise weiter entwickelt...

 

[Alwin]

Auf welchen Faktoren beruht diese Meinung? Meiner Ansicht nach wäre der durchaus sehr gut geeignet, wenn man mit 2 GHz pro Kern auskommt. Aber vielleicht übersehe ich da etwas?

Abgesehen von der Taktrate, sind die CPU Features interessant. Und vielleicht die eingebaut Grafik. Aber hab gerade nachgeschaut und die i3 in der 10en Generation, haben schon kein ECC mehr. Schon echt traurig.

Vielleicht ist mein Blick aber auch getrübt, weil viele Händler bei Vergleichen derzeit gar nicht aufscheinen. Dementsprechend fehlen wahrscheinlich einige Produkte in der Suche. Vielleicht sollte ich wirklich erst einmal abwarten, wie sich die COVID-19 Krise weiter entwickelt...

Nicht nur diese Krise macht sich bei diesen Spezialbauten bemerkbar. Intel hat Probleme bei der 7nm Schiene und AMD hat nicht mit so viel Andrang gerechnet. Damit kriegt man von beiden nicht die Hardware die ein bisschen abseits des Mainstreams ist. :/

 

[KB19]

Um hier abschließend noch etwas zu schreiben: Ich habe mich nun, wie ursprünglich geplant, für das Supermicro 721TQ-250B Gehäuse entschieden. Zwischenzeitlich wurde es vom Hersteller sogar abgekündigt, ist aber noch problemlos erhältlich. Bei Bedarf gibt es das sogar mit einem 350 Watt Netzteil, statt der 250 Watt Variante.

Beim Mainboard habe ich sehr lange überlegt und ich hätte sogar fast eines mit identischer CPU von ASRock Rack genommen. Ich bin dann aber mangels Alternativen doch wieder bei der A2SDi-Serie von Supermicro gelandet. Allerdings bei den aktiv gekühlten Varianten ("+"), die in diesen Gehäusetypen mit dieser TDP empfohlen werden. Diese Modelle sind zwar noch schwerer zu bekommen, aber glücklicherweise bin ich dann doch noch über einen deutschen Händler gestolpert, der eine große Auswahl an Supermicro Artikeln hat und dennoch Privatkunden beliefert.

Lange Rede, kurzer Sinn: Das A2SDi-8C+-HLN4F ist eingetroffen und eingebaut. Es war durchaus eine gute Entscheidung, mich nicht auf irgendwelche passiv gekühlten Spielereien einzulassen. Die "lauteste" Komponente (außerhalb von Volllast) ist übrigens nicht der CPU- oder Gehäuselüfter, es ist der nervende kleine Lüfter des Flex-ATX Netzteils. Den hatte ich ehrlich gesagt kaum am Radar. Nicht extrem dramatisch, aber eventuell muss ich mir da noch etwas überlegen...

Neue (große) HDDs bzw. SSDs habe ich vorerst noch keine, ich will jetzt erst einmal das System so ein wenig austesten und herum experimentieren. War sowieso schon teuer genug, ein paar Wochen mit dem Kauf von Speichermedien zu warten schadet nicht. Dann weiß ich hoffentlich auch, was ich wirklich will bzw. brauche.


PS: Ich weiß nicht was Supermicro derzeit anstellt, aber das Standard IPMI-Passwort ("ADMIN") war nicht korrekt. Theoretisch sollte bei diesem Mainboard eigentlich auch schon ein Zufallspasswort gesetzt sein (wie bei allen anderen Supermicro Boards seit Ende 2019), aber es war weit und breit kein Zettel oder Sticker zu finden. Komische Sache. Ich hab's dann einfach schnell lokal mit einem Linux vom USB-Stick resettet.

 

[Ramalama]

Das board ist sehr gut mit embedded cpu+ecc+sr-iov und ipmi. Gute wahl für nen sehr günstigen Homeserver mit proxmox.

Jedoch ohne 10Gbe, ist der eine pcie slot zu wenig. Weil du auf lange Sicht nicht beides einbauen (gpu/10gbe) kannst.

Aber das Gehäuse ist sehr fragwürdig, abgesehen von hässlich, passt da fast nichts rein hdd technisch oder pcie technisch xD
Aber jedem das seine xD

LG

 

[Dunuin]

Optisch finde ich das Gehäuse eigentlich ok. Den Trend zu den möglichst kleinen PC-Gehäusen und dann noch ITX oder MicroATX kann ich aber auch nicht nachvollziehen. Also auf Stromeinsparung optimierte Hardware ist ja ok, wenn man die Stromkosten niedrig halten möchte, aber warum muss es immer so klein wie möglich sein, selbst wenn man dann total eingeschränkt ist was RAM Slots, PCIe Slots und Laufwerksschächte und leise große Lüfter angeht. Das man da keinen lauten 1U oder 2U 19" Rack-Server haben will, welcher super in die Tiefe geht ist auch verständlich. Aber so einen normalen ATX Miditower bekommt man doch immer irgendwo unter. Kann ja auch gerne irgendwo total zugebaut stehen wo man kaum mehr rankommt.

Also für mich wäre so ein kleiner Würfel nichts, aber jeder wie es ihm gefällt.

 

[Ramalama]

Optisch finde ich das Gehäuse eigentlich ok. Den Trend zu den möglichst kleinen PC-Gehäusen und dann noch ITX oder MicroATX kann ich aber auch nicht nachvollziehen. Also auf Stromeinsparung optimierte Hardware ist ja ok, wenn man die Stromkosten niedrig halten möchte, aber warum muss es immer so klein wie möglich sein, selbst wenn man dann total eingeschränkt ist was RAM Slots, PCIe Slots und Laufwerksschächte und leise große Lüfter angeht. Das man da keinen lauten 1U oder 2U 19" Rack-Server haben will, welcher super in die Tiefe geht ist auch verständlich. Aber so einen normalen ATX Miditower bekommt man doch immer irgendwo unter. Kann ja auch gerne irgendwo total zugebaut stehen wo man kaum mehr rankommt.

Also für mich wäre so ein kleiner Würfel nichts, aber jeder wie es ihm gefällt.

Das realisiert mann aber meistens im Nachhinein xD
Ich hab itx mit stylischem mini Gehäuse, aber hab im Nachhinein auch öfters bereut, nicht was bisschen größeres geholt zu haben, wo einfach mehr reinpasst (hdds/ssds vor allem) xD

Was soll's man lernt ja dazu.

 

[Dunuin]

Das realisiert mann aber meistens im Nachhinein xD
Ich hab itx mit stylischem mini Gehäuse, aber hab im Nachhinein auch öfters bereut, nicht was bisschen größeres geholt zu haben, wo einfach mehr reinpasst (hdds/ssds vor allem) xD

Was soll's man lernt ja dazu.

Ich habe hier 3 MicroATX Boards in ATX Gehäusen. Bereue das aber auch nur MicroATX Mainboards geholt zu haben. Für die beiden NAS ist das noch ok, aber nur 4 RAM Slots und 3 PCIe Slots sind mir im Hypervisor inzwischen zu wenig. Beim gleichen Board nur in der ATX Version hätte ich wenigstens 8 RAM Slots und 7 PCIe Slots gehabt.
Und ja, ich bin auch vom Raspberry Pi, über ITX Atom Board, über Xeon E3 MicroATX FreeNAS zum E5 Xeon MicroATX mit Proxmox gekommen. Man fängt halt klein an, stößt an die Grenzen und muss dann doch was größeres und stärkeres kaufen. Jedenfalls wenn man das ganze als Hobby betreibt und immer tiefer in der Materie kommt.

 

[Dunuin]

Achso, HDDs in den Spindown schicken wird übrigens schwer. Irgendwas will da immer auf die HDDs zugreifen und weckt die dann wieder auf.
Muss man jedenfalls gut im Auge behalten, denn sonst gehen die HDDs durch das stände Spinup und Spindown schneller kaputt, als wenn die einfach 24/7 drehen würden.
Proxmox fragt z.B. alle 20 Sekunden alle Netzwerk-Shares ab, ob die noch erreichbar sind. Das würde deine HDDs in den Synologys dann z.B. ständig aufwecken. Ich weiß nicht wie das bei lokalen Laufwerken ist, aber ich vermute die werden ebenfalls überwacht und daher aktiv gehalten.
Kannst du dann ja mal berichten, ob du das geschafft hast.
Ich hatte da irgendwann aufgegeben und mir einfach für die Backups einen günstigen Backup-Server zugelegt, der dann komplett runtergefahren wird und bei Bedarf wieder über Scripts per IMPI hochgefahren wird. Hatte mir auch mal so eine 5,25" Blende mit 6 Schaltern gekauft, womit man dann 6 Festplatten physisch vom Strom trennen kann, aber das war auch nichts für den Alltag, da sich so keine automatischen Backups auf die Backup-Festplatten umsetzen lassen, wenn ich da wöchentlich immer selbst die HDDs an/ausschalten muss. Und wehe man vergisst das ein paar mal und die Snapshots wurden schon gelöscht. Dann muss man dutzende TB an Daten erneut komplett sichern, weil die Pools dann nicht mehr synchron sind und eine inkremetelle Replikation nicht mehr klappt.

Eine Synology würde ich dann aber noch für die Backups behalten. Vielleicht kann die ja auch WakeOnLan, dann könntest du die nach dem Backup in den Standby schicken und zum nächsten Backup wieder aufwecken. Und die könnte dann auch in einem anderen Raum stehen, was für die Datensicherheit beim Feuer/Einbruch ja auch besser ist.

 

[KB19]

Perfekt ist der Server nicht, aber das Preis-/Leistungsverhältnis ist für mich persönlich bei diesen Komponenten unschlagbar und auf absehbare Zeit völlig ausreichend.

Das Gehäuse finde ich optisch durchaus sehr ansprechend. Vier 3,5" und zwei 2,5" Laufwerke sollten für die nächsten Jahre durchaus mal reichen. Den m.2 Slot gibt es theoretisch auch noch. Notfalls führe ich ein oder zwei (e)SATA Kabel zu einem externen Gehäuse. Oder stelle mir einen zweiten Würfel-Server mit günstigerem Mainboard dazu.

10GE ist noch kein Thema bei mir, das darf einige Jährchen warten. Dafür habe ich noch keine Verwendung. Für vier NICs allerdings schon, die waren mir wichtig. Für 10GE fehlt mir ein passender Switch sowie eine Netzwerkkarte im PC. Und mein Router kann zwischen verschiedenen VLANs nicht einmal Gbit ausreizen. Sollte sich das irgendwann ändern, ist der Würfel sowieso schon veraltet...

Danke für den Hinweis bezüglich Spindown! Das habe ich letztes Jahr bereits gelesen. Ich werde da auf jeden Fall experimentieren. Ob die HDDs bzw. der Server dann (jeden Tag) durchläuft weiß ich noch nicht. Ich muss mal schauen, ob ich die Kiste wirklich 24/7 brauche. Die wirklich grundlegenden Dinge könnten auch problemlos auf einem RPi laufen.

Die Synology Geräte behalte ich sowieso, bei 10/11 Serien zählt sich ein Verkaufen kaum noch aus. Als NFS-Datengrab bzw. für Backups oder für iSCSI kann man sie höchstwahrscheinlich für weitere 10 Jahre verwenden (WOL kann nur eine, aber zeitgesteuert können sie alle aufwachen.)

Würde ich nicht mehr Schnittstellenkarten brauchen, würde ich mir so einen Würfel übrigens sofort als PC hinstellen. Da habe ich zwar auch einen Würfel, aber als Micro-ATX und somit wesentlich größer. Trotzdem gehen dort weniger Laufwerke rein.

Danke für Euer Feedback!

 

[iprigger]

Hallo,

Ist ein gutes Argument


Auf welchen Faktoren beruht diese Meinung? Meiner Ansicht nach wäre der durchaus sehr gut geeignet, wenn man mit 2 GHz pro Kern auskommt. Aber vielleicht übersehe ich da etwas?

Been there (Atom), done that. YMMV!

Grundsätzlich: Das läuft schon. Allerdings ist das IO-Verhalten nicht gerade prickelnd... ich würd' auch eher nen i5 oder (lieber) nen ryzen nehmen. Die AMDs sind zudem noch relativ kühl, was abwärme angeht.

Tobias

P.S: Und bitte keine Atom 27xx 8-core... die laufen ca. 1-2 jahre, dann brennen die durch.

 

[Ramalama]

Hallo,



Been there (Atom), done that. YMMV!

Grundsätzlich: Das läuft schon. Allerdings ist das IO-Verhalten nicht gerade prickelnd... ich würd' auch eher nen i5 oder (lieber) nen ryzen nehmen. Die AMDs sind zudem noch relativ kühl, was abwärme angeht.

Tobias

P.S: Und bitte keine Atom 27xx 8-core... die laufen ca. 1-2 jahre, dann brennen die durch.

Das mit dem Atom kann ich bestätigen, aber es ist nicht nur 27xx, berry trail¿ oder so und noch ne andere generation ist bei mir auch abgeraucht. Einmal zuhause und einmal in nem Synology in der Firma.

Also ich würde nicht sagen das die durchbrennen, da die nie heiß werden, die sind dann einfach irgendwann bei nem reboot oder so, tot xD

Ich hatte das total vergessen. Guter Hinweis!

 

[iprigger]

Hi,

Das mit dem Atom kann ich bestätigen, aber es ist nicht nur 27xx, berry trail¿ oder so und noch ne andere generation ist bei mir auch abgeraucht. Einmal zuhause und einmal in nem Synology in der Firma.

Also ich würde nicht sagen das die durchbrennen, da die nie heiß werden, die sind dann einfach irgendwann bei nem reboot oder so, tot xD

Ich hatte das total vergessen. Guter Hinweis!

Das Ding nennt sich "LPC Clock Failure"

https://www.anandtech.com/show/11110/semi-critical-intel-atom-c2000-flaw-discovered

The SoC LPC_CLKOUT0 and/or LPC_CLKOUT1 signals (Low Pin Count bus clock outputs) may stop functioning.

Doch, das würde ich schon "durchbrennen" nennen. Die LPC_CLKOUT1-Leitung macht einen auf Edison - und glüht ab.

Tobias

 

[Dunuin]

10GE ist noch kein Thema bei mir, das darf einige Jährchen warten. Dafür habe ich noch keine Verwendung. Für vier NICs allerdings schon, die waren mir wichtig. Für 10GE fehlt mir ein passender Switch sowie eine Netzwerkkarte im PC. Und mein Router kann zwischen verschiedenen VLANs nicht einmal Gbit ausreizen. Sollte sich das irgendwann ändern, ist der Würfel sowieso schon veraltet...

Ich bin hier gerade auf 10Gbit umgestiegen. Managed Switch mit 24x Gbit + 4x 10Gbit SFP+ gibt es schon für 180€ (JL682A). Das Ding ist auch Lüfterlos und braucht wenig Strom. Die Single Port 10Gbit SFP+ NICs gab es für je 33€ (MCX311A-XCAT). 3m SFP+ DAC Kabel gab es für 10-18€. Nur bei Glasfaserkabeln wird es etwas teurer wenn man mehr als 3 Meter überbrücken will. 2 Transceiver mit 15m Glasfaserkabel waren glaube ich rund 50€.
Wenn ich das richtig sehe könnte der Switch sogar zum Routen benutzt werden. Ich habe da aber auf dem Proxmox-Server und dem FreeNAS-Server jeweils eine VM mit OPNsense laufen lassen und die arbeiten bei mir daheim nun als Router. Zwei VMs auf getrennten Rechnern war mir wichtig, damit ich die OPNsense VMs im HA Modus betreiben kann. Fällt dann mal ein Server aus, dann springt die andere VM innerhalb von Sekunden ein. Wäre mir sonst viel zu riskant ohne HA, weil das ja doch mal Wochen dauern kann, bis man da einen Server repariert hat und ich dann für die Zeit daheim nicht mal mehr ins Internet könnte.

Habe jetzt hier 3 Rechner per 10Gbit angeschlossen, noch einen 10Gbit Port frei und das ganze hat keine 400€ gekostet. Geht also inzwischen auch "günstig".
Aber auch hier sind wieder PCIe Slots von Vorteil, da dann ja jeder Server eine extra 10Gbit NIC braucht welche einen elektrischen PCIe 8x Slot benötigt. Und möchte man den Router virtualisieren, dann sollte man am besten gleich zwei NICs verbauen.

 

[iprigger]

Hi,

Ich bin hier gerade auf 10Gbit umgestiegen. Managed Switch mit 24x Gbit + 4x 10Gbit SFP+ gibt es schon für 180€ (JL682A). Das Ding ist auch Lüfterlos und braucht wenig Strom. Die Single Port 10Gbit SFP+ NICs gab es für je 33€ (MCX311A-XCAT). 3m SFP+ DAC Kabel gab es für 10-18€. Nur bei Glasfaserkabeln wird es etwas teurer wenn man mehr als 3 Meter überbrücken will. 2 Transceiver mit 15m Glasfaserkabel waren glaube ich rund 50€.

Bitte auf die SFP+ GBICs achten - da gibts verschiedene Reichweiten (hitze-entwicklung).

Glas ist eigentlich nicht wirklich sehr teuer - allerdings: am falschen Ende gespart gibt ärger!

Gruss
Tobias

P.S: Bitte UNBEDINGT MultiMode / SingleMode beachten - das gibt sonst richtig üble Fehler!

 

[Dunuin]

Hi,



Bitte auf die SFP+ GBICs achten - da gibts verschiedene Reichweiten (hitze-entwicklung).

Glas ist eigentlich nicht wirklich sehr teuer - allerdings: am falschen Ende gespart gibt ärger!

Gruss
Tobias

P.S: Bitte UNBEDINGT MultiMode / SingleMode beachten - das gibt sonst richtig üble Fehler!

Der JL682A hat kein Hersteller-Locking was Tranceiver angeht, da ist man recht variabel. Hatte da LC OM3 LWL geholt, zwei Cisco FET-10G Tranceiver und zwei gleiche Cicso 3m 10Gbit DACs wo ich das Modell gerade nicht mehr weiß. Läuft soweit seit ein paar Monaten ohne Probleme.
Nur die MCX311A-XCAT war im FreeNAS nicht in der Lage CARP zu benutzen. Musste die Backup-OPNsense dann per Gbit anbinden, aber 10Gbit geht trotzdem für die FreeNAS Shares. Proxmox hatte keine Probleme mit CARP.

 

[KB19]

[…] das ganze hat keine 400€ gekostet. Geht also inzwischen auch "günstig".

Die stecke ich dann lieber mal in HDDs, mir geht seit Monaten überall der Speicherplatz aus.

Nein, ernsthaft: Danke für den Erfahrungsbericht. Derzeit halt noch kein Thema für mich

 

[KB19]

Was mir erst jetzt bewusst wird: PCI-Passthrough ermöglicht mir auf dieser Hardware wesentlich mehr, als ich ursprünglich dachte!

Ich kann u.a. den zweiten SATA-Controller (die beiden mini-SAS Ports) komplett an eine VM durchreichen. Ebenso jede einzelne der vier Ethernet-Schnittstellen. Auch der interne USB-Controller (inkl. dem internen USB 3.0 Port) kann dafür genutzt werden.

 

[KB19]

Achso, HDDs in den Spindown schicken wird übrigens schwer. Irgendwas will da immer auf die HDDs zugreifen und weckt die dann wieder auf.

Da ich den zweiten SATA-Controller exklusiv an die NAS-VM durchreiche, muss ich mir darum keine Gedanken machen. Wenn die VM gestoppt wird, werden alle HDDs automatisch heruntergefahren, ein Spindown nach einer bestimmten Idle-Zeit funktioniert theoretisch auch einwandfrei, was eine gute Alternative zum Herunterfahren der VM wäre.

Damit das Hostsystem gar nicht dazwischen funken kann, wenn die VM mal nicht läuft, verstecke ich das Device dort komplett. Direkt beim Booten funktioniert aus einem mir unbekannten Grund nicht, deshalb als Systemd Service Unit:

# /etc/systemd/system/pci-stub.service

[Unit]
Description=PCI Passthrough                                                                                                                                                              
                                                                                                                                                                                         
[Service]                                                                                                                                                                                
Type=oneshot                                                                                                                                                                            
StandardOutput=journal                                                                                                                                                                  
ExecStart=/usr/bin/bash -c 'id="8086 19b2"; dev=0000:00:13.0; /usr/sbin/modprobe pci_stub && echo "$id" > /sys/bus/pci/drivers/pci-stub/new_id && echo "$dev" > "/sys/bus/pci/devices/$dev/driver/unbind" && echo "$dev" > /sys/bus/pci/drivers/pci-stub/bind'                                                                                                                    
                                                                                                                                                                                         
[Install]                                                                                                                                                                                
WantedBy=multi-user.target

Das hat zwar den Nachteil, dass ich mich dann um S.M.A.R.T. & Co. in der VM kümmern muss und keinen Zugriff auf diese Details habe, wenn die VM nicht läuft, aber damit kann ich gut leben. Ein kleiner Schönheitsfehler ist halt auch, dass die HDDs beim Start des Hosts (gleichzeitig) hochfahren und dann weiterlaufen, auch wenn die VM gar nicht gestartet werden würde. Aber auch das ist kein Punkt, um den ich mir Sorgen mache. Die VM soll sowieso automatisch starten und das 250 Watt Netzteil verkraftet den gleichzeitigen Start ohne Probleme.

Für die restlichen VMs habe ich am Host einen Mirror aus zwei Intel D3-S4610 (240 GB) laufen sowie eine WD Red SA500 (1 TB) für unwichtigere Spielereien. Das dürfte jetzt mal ausreichen