Einstieg in PVE - Hardwarefrage

[rumsbums]

Hallo,

wir planen für unseren kleinen Betrieb (2 Mann) eine Proxmox Umgebung, nachdem wir bisher vereinzelt mit VMware gearbeitet hatten.

Jetzt sind wir uns nur nicht ganz sicher welche Anforderungen bzgl. der Hardware auf uns zukommen. Letztendlich drauf laufen sollen mit Sicherheit, jedoch nicht zwangsläufig parallel:

• Nextcloud
• evtl. eine NAS Lösung
• diverse Linux Systeme zum testen (hin und wieder)
• evtl. KVM Images von externen Servern
• MySQL Server zum testen von z.T. großen Datenbanken
• 1-2 Windows VM´s

Konkret beschäftigt und jetzt die Frage nach dem Hardware Grundgerüst und in Ermangelung an Erfahrung mit PVE das ein oder andere Detail hinsichtlich der Hardware.

• ergibt es Sinn einen älteren i5/i7 mit Mainstream Mainboard zu betreiben oder wären Xeon zu bevorzugen (im Bezug auf unsere Planung)? Es gibt ja gebrauchte Server für günstig Geld wie Sand am Meer.
• wie sieht es mit Raid Controllern aus, sind dort Fallstricke zu erwarten?
• Generell Festplatten - reichen aktuelle HDD`S/SSD`s oder sollte man für ein Produktivsystem gleich auf Enterprise Lösungen setzen?

Fest steht für uns, dass wir neue Hardware anschaffen müssen um selbst für Testzwecke ein PVE zu realisieren, jedoch nicht gleich in die Vollen gehen wollen. Im Prinzip suchen wir einen guten, soliden Einstieg mit einem Auge auf die Skalierbarkeit, bei Gefallen.

Besten Dank im Voraus für jede Antwort!!

 

[hec]

Ich würde zu Enterprise Servern wie DL380 raten. Eventuell auch DL360.

Die HDD/SSD Bestückung kommt eben auf die Anforderungen an Performance und Platz an.

Soll das ein Lab werden oder produktive Workload drauf kommen?

Bitte bei den Server auf jeden Fall auf redundante Netzteile achten.

lg
Gregor

 

[LnxBil]

Frage ist auch, ob ihr einen Serverraum habt oder das Teil irgendwo rumstehen soll. Ein Server braucht Kühlung und ist auch nicht leise. Wenn ihr eher etwas für das Office sucht, so würde ich auf etwas leises achten.

Gebrauchte Server sind Spitze, denn die brachiale Leistung benötigt ihr zu zweit bestimmt nicht. Spart nicht mit RAM (also mind. 32GB). Kann mich Gregor anschließen, die HPs sind echt gut und durch die Masse am Markt auch recht günstig zu erwerben. Würde euch da zu einem gute ausgestatteten G6 raten.

 

[thoe]

Hallo,

wir stehen auch gerade vor der Entscheidung welche Hardware für unser neues Proxmox-Cluster kaufen sollen.
Das soll aus 3 Servern bestehen.

Im Moment stehen die Aktien für DL380p Gen8 ganz gut.

https://www.servershop24.de/en/serv...hz-16-gb-ddr3-ram-2x-146-gb-sas-10k/a-117533/

Diese würden wir auf 192GiB RAM heben und noch 6 Stk. 10k SAS a 900GiB dazupacken.
Hier tun sich bei mir Fragen auf:
Wie sieht es mit der Hardwareunterstützung bei Proxmox/Debian aus?
Wird der Raidcontoller unterstützt oder bin ich da beim Softwareraid?
Kennt sich jemand mit dem Smart Array P420i soweit aus, mir sagen zu können das man zwei Raidgruppen bilden kann?
Ich würde gern das System auf mit den ersten beiden Platten auf ein Raid 1 und Ceph (falls möglich) auf ein Raid 10 packen.
Da weiß ich aber nicht ob ich da einen Denkfehler mache.
(Wenn ich die 6 x 900GiB-Platten ins Raid 10 packe hab ich nur 2,7T pro Server. Nur die Nutzdaten liegen dann auf dem SAN.)

Dann wären weiterhin die Fragen nach den Netzwerkverbindungen:
Wir gedenken die Ceph-Verbindungen über 10Gbit laufen zu lassen. Genauso wie die Verbindungen zum SAN.
Ins interne Netz reichen bei uns 1Gbit.
Weiß jemand ob die 10GBit Karten in den DL380p Gen8 bekomme? Ich würde auch um Ausfällen zu begegnen lieber 2 x 2 10GBit nehmen als 1 x 4 10Gbit und die Bonds über Kreuz nehmen.
Laufen sollen auf dem Cluster:
2 x DC auf WinSrv2016
1 x ApplicationServer WinSrv2016
1 x DB-Server WinSrv2016
1 x ExchangeSrv WinSrv2016
1 x Zabbix (ubuntu)
1 x TFTP (debian)
1 x Debian (Fachanwendung)
1 x WinSrv2016 (Fachanwendung mit mind. 16GB RAM 4 Cores)
1 x Debian (Jira)
1 x FileSrv (noch in der Schwebe ob Windows oder Linux)
Tendenz zu mehr....

Zwei Nodes müssten bei Wartungen oder im Notfall alles allein tragen können.

Habt Ideen oder Vorschläge für uns?
Wir sind nicht auf HP festgenagelt. Es geht auch andere Hardware.
Gruß Thomas

 

[LnxBil]

Wie sieht es mit der Hardwareunterstützung bei Proxmox/Debian aus?

Klappt. Gibt eigentlich mit keiner Server-Hardware Probleme mit Linux, es sei denn die ist super-duper neu, dann kann es immer etwas dauern, bis die Unterstützt wird in Ubuntu. Generell würde ich aber nur zu Hardware greifen, die selbst Linux (RHEL, OL, und SLES) zertifizieren. Oft ist auch schon nach Ubuntu zertifiziert und dann klappt es mit PVE >= 4 auch ohne Probleme.

Wird der Raidcontoller unterstützt oder bin ich da beim Softwareraid?

Ja, normaler HP P4x0 Controller. Steuerbar über hpacucli was man manuell installieren muss.

Kennt sich jemand mit dem Smart Array P420i soweit aus, mir sagen zu können das man zwei Raidgruppen bilden kann?

Technisch kann der Controller sehr viel, was er nun freigeschaltet hat musst du dir genauer anschauen, aber 2 Volumes sollten kein Problem darstellen.

Ich würde gern das System auf mit den ersten beiden Platten auf ein Raid 1 und Ceph (falls möglich) auf ein Raid 10 packen.
Da weiß ich aber nicht ob ich da einen Denkfehler mache.
(Wenn ich die 6 x 900GiB-Platten ins Raid 10 packe hab ich nur 2,7T pro Server. Nur die Nutzdaten liegen dann auf dem SAN.)

Auf Festplatten Ceph ohne SSDs? Das macht kein Spaß. Auch würde ich CEPH nur direkt die Platten geben und das geht IMHO mit dem P4x0 nicht, da er immer nur ein Volume machen kann, Ceph will eigentlich wie ZFS immer rohe Geräte haben.

Wo genau kommt nun das SAN ins Spiel oder meinst du Ceph als SAN?

Weiß jemand ob die 10GBit Karten in den DL380p Gen8 bekomme?

Klar, warum nicht? DL380p hat ja mind. 4 PCIe Einschübe. Da du ja gebraucht käufst hast du eh keinen Hardware-Support-Vertrag und musst dich nicht an die zertifizierte Hardware halten. Generell kannst du da eigentlich immer 10 GBit-Karten von der Stange kaufen bei Servershop24, die klappen schon. Oft kannst du auch direkt dort anrufen und dich beraten lassen. Sind kompetent am Telefon.

 

[thoe]

Hallo und guten Morgen,

@LnxBil ,
Ceph soll auf den Platten der Nodes laufen.
Mit dem SAN habe ich vor die Nutzdaten von den Systemdaten zu trennen.
So ähnlich läuft es momentan auf einem 5.0 VwareCluster. Nur dass dort sämtliche Daten im SAN liegen. Die VMwareNodes haben nur einen kleinen Chip zum booten.

Meinst Du wenn ich die 6 x SAS 900GiB Platten pro Node direkt an das Ceph gebe und diese mit 10Gbit verbinde ist das zu lahm?
(Wir haben immer zwischen 40 und 60 aktive User.) Wenn ja, muss ich mir was anderes einfallen lassen.

Gruß Thomas

 

[LnxBil]

Ceph soll auf den Platten der Nodes laufen.
Mit dem SAN habe ich vor die Nutzdaten von den Systemdaten zu trennen.
So ähnlich läuft es momentan auf einem 5.0 VwareCluster. Nur dass dort sämtliche Daten im SAN liegen. Die VMwareNodes haben nur einen kleinen Chip zum booten.

Wenn ich es verstanden habe macht ihr sowas wie:
OS auf Ceph, Daten im SAN?

Meinst Du wenn ich die 6 x SAS 900GiB Platten pro Node direkt an das Ceph gebe und diese mit 10Gbit verbinde ist das zu lahm?
(Wir haben immer zwischen 40 und 60 aktive User.) Wenn ja, muss ich mir was anderes einfallen lassen.

Ceph ohne SSDs als Journal ist technisch natürlich möglich, aber will keiner in der Praxis machen. Daran steht und fällt deine gesamte Performance, da das ACK zur Anwendung hin erst dann gesendet wird, wenn es auf allen Kopien gespeichert ist. Hierfür ist der gesamte I/O Pfad so latenzarm wie möglich zu gestalten. Wenn schon nur Festplatten verwendet werden sollen, dann bitte die latenzärmsten 15k.

Warum legt ihr nicht alles in SAN wie bei VMware auch? Das ist doch der Sinn von einem SAN - machen wir auch so. Unsere "Compute-Nodes" haben dann 2x146 GB HP P4x0-basiertes RAID1 - weil man halt was redundantes auf den Kisten will.

 

[udo]

Hi,
ich würde nicht zwingend zu einem HP-Server raten. Ohne Vertrag bekommt ihr keinerlei Updates (z.B. Bios-Updates für Meltdown/Spectre-Patches).
Ich habe mir als Test-System zwar auch so'n älters Teil günstig geschossen, aber das ist halt nur ein Testsystem.

In einem Post wurde drauf hingewiesen unbedingt auf ein redundantes Netzteil zu achten. Das sehe ich etwas lockerer (gerade bei einer 2-Mann Firma).
Bei mir ist es schon echt lange her, dass ein Netzteil zickte, und das letzte war ein redundantes, das den Server rebooten lies...
Aber da hat jeder sicherlich andere Erfahrungen.

Wegen i5/i7: achte auf ECC-Ram (und damit sind die i5/i7 wohl raus)! Das ist m.E. deutlich sinnvoller als redundantes Netzteil.

Und Finger weg von Consumer-SSDs... auch wenn die mit phantastischen Werten und Preisen werben. Du wirst damit nicht glücklich und kaufst zweimal.

Udo

 

[udo]

Hallo,

wir stehen auch gerade vor der Entscheidung welche Hardware für unser neues Proxmox-Cluster kaufen sollen.
Das soll aus 3 Servern bestehen.

Im Moment stehen die Aktien für DL380p Gen8 ganz gut.

https://www.servershop24.de/en/serv...hz-16-gb-ddr3-ram-2x-146-gb-sas-10k/a-117533/

Diese würden wir auf 192GiB RAM heben und noch 6 Stk. 10k SAS a 900GiB dazupacken.
Hier tun sich bei mir Fragen auf:
Wie sieht es mit der Hardwareunterstützung bei Proxmox/Debian aus?
Wird der Raidcontoller unterstützt oder bin ich da beim Softwareraid?
Kennt sich jemand mit dem Smart Array P420i soweit aus, mir sagen zu können das man zwei Raidgruppen bilden kann?
Ich würde gern das System auf mit den ersten beiden Platten auf ein Raid 1 und Ceph (falls möglich) auf ein Raid 10 packen.
Da weiß ich aber nicht ob ich da einen Denkfehler mache.

Hi Thomas,
weiß nicht ob es zur Kategorie Denkfehler gehört aber...
zwei Raidgruppen über die gleichen Platten? Mit Ceph? Sehr suboptimal.

Ceph möchte, wie ZFS, die Platten direkt sehen. Also müsstest Du den Raid-Controller im HBA-Modus (teilweise IT-Modus genannt) fahren.
Siehe hier: https://www.busche.org/index.php/2016/07/14/hba-modus-auf-hp-p420-aktivieren/

Der P410i kann's nicht - deshalb habe ich einen zusätzlichen LSI-Controller.

Im HBA-Modus bist Du allerdings bei Softwareraid - also ZFS. ZFS ist schon nett, vorrausgesetzt Du hast RAM, ggf. schnelle Journal-SSDs und kein übermässiges IO-Verhalten.

Weiß jemand ob die 10GBit Karten in den DL380p Gen8 bekomme?

Klar, warum nicht?!

Udo

 

[thoe]

Guten Morgen,

Wenn ich es verstanden habe macht ihr sowas wie:
OS auf Ceph, Daten im SAN?

Ja genau so war es gedacht.
Ich habe hier das Problem in eine gewachsene Struktur zu kommen und diese im laufenden Betrieb umzustricken.
Unser SAN besteht aus zwei Plattenpools. Ein schneller auf 15K-Platten, der ist komplett voll. (Gott sei Dank auf Thick Provisioning.)
Der zweite Pool ist auf NearLine-Platten und inakzeptabel lahm.
Ich habe jetzt also vor nach und nach die Server vom 15k-Pool zu ziehen/ersetzen und den frei gewordenen Platz für Daten zu verwenden.
Der NL-Pool wird auf lange Sicht nur noch für Backups verwendet werden.

zwei Raidgruppen über die gleichen Platten? Mit Ceph? Sehr suboptimal.

Nicht ganz, ich dachte mir, die ersten beiden Platten ins Raid 1 zu nehmen und die restlichen zu einem Raid10.
Das Raid 10 dann für Ceph zu nutzen um dort noch etwas I/O-Performance rauszuholen.
Dann habe ich zwar Platzverlust aber etwas mehr I/O. Ginge denn das überhaupt? Stehen die Raidvolumes noch zur Verfügung für Ceph?

Wie muss ich mir das Ceph mit Journal auf SSD vorstellen?
Muss dazu das gesamte Ceph auf SSD oder kann man irgendwo eine SSD "Journalplatte" angeben?

Einen schönen Tag.
Thomas

 

[udo]

Guten Morgen,
...
nicht ganz, ich dachte mir, die ersten beiden Platten ins Raid 1 zu nehmen und die restlichen zu einem Raid10.

Moin,
wenn die Platten gleich groß sind, hat dies nur den "Vorteil", dass dein erstes Raidset schön lahm ist, und dein zweites auch nicht so schnell wie es sein könnte.
Wenn Du alle Platten zu einem Raid10-Verbund machst mit zwei Volumes (ein kleineres für's System und den Rest für die Daten) hast Du für beide Raid-Volumes einen Gewinn. Einziger Punkt ist, dass sich das IO eines Raid-Volumes auf die Performance des anderen niederschlagen kann. Dass sollte aber der Raid-Cache abfedern.
Bei guten Raidcontrollern (z.B. Areca) kannst Du sogar unterscheidliche Raid-Level auf dem Plattenverbund fahren (z.B. Raid6 für's System und Raid10 für die Daten.

Das Raid 10 dann für Ceph zu nutzen um dort noch etwas I/O-Performance rauszuholen.
Dann habe ich zwar Platzverlust aber etwas mehr I/O. Ginge denn das überhaupt? Stehen die Raidvolumes noch zur Verfügung für Ceph?

Ja, das würde schon gehen, denn für das OS ist es einfache eine Platte - z.B. /dev/sdb.
Aber es ist nicht empfohlen von ceph, und weil es auch ein paar Nachteile hat ist es die Frage, ob Du diesen Weg gehen solltest.
* Ceph wird performanter je mehr einzelne OSDs und OSD-Nodes in benutzung sind (wenn man alles richtig macht).
Wenige Hosts, mit nur einer OSD (Raid-Volume) ist performance-mäßig suboptimal.
* Platz: Ceph nutzt als Replica 3 (früher 2 ist jedoch irgendwann Harakiri), dass heisst jeder 4MB-Block wird auf unterschiedliche Nodes,
und somit unterschiedliche OSDs, insgesamt drei mal geschrieben. Dass heisst, von sagen wir 10*1TB Plattenplatz, bleiben netto
ca. 9TB übrig - replica 3 macht daraus 3TB und dann darf man bei ceph die OSDs nur zu ca. 60% füllen (damit im Fehlerfall die Daten
von anderen OSDs übernommen werden können).
Wenn Du jetzt noch dein Raid-10 mit doppelt soviele Platten wie Datenmenge da rein rechnest, wird es schon echt ungünstig.
Es gibt allerdings Leute, die sowas so machen und durch die Sicherung des Hardware-Raid auf Replica-2 gehen... insgesammt
m.W. aber davon abgekommen sind - kannst mal auf der ceph-user mailing liste suchen.

Wie muss ich mir das Ceph mit Journal auf SSD vorstellen?
Muss dazu das gesamte Ceph auf SSD oder kann man irgendwo eine SSD "Journalplatte" angeben?

Einen schönen Tag.
Thomas

Richtig, Du kannst ein Journal-Device angeben (bei Bluestore ähnlich). Durch den Raid-cache kannst Du in deinem geplanten Fall allerdings drauf verzichten. Bei der Verwendung von einzelnen Platten sind gute DC-SSDs für's Journal extenziell wichtig.

Udo

 

[thoe]

Moin,
jetzt bin ich ganz wuschig...

hmmm, ja mit den Raidgruppen werde ich mir nochmal überlegen.
Die OSDs hätte ich gern komplett getrennt vom System.

Es wäre also performanter das System, sagen wir auf zwei SSDs im Raid 1 zu packen und die restlichen Platten direkt an Ceph zu vergeben.
Dazu noch SSD(s) als Journalplatte(n) hinzuzufügen.

Kann man im Frontend die Journalplatten hinzufügen? Und könnt ihr mir SSDs empfehlen?
Wie groß im Verhältnis zu OSDs muss eine Journalplatte sein oder wie viele?

Einen entspannten Freitag wünscht
Thomas

 

[LnxBil]

Es wäre also performanter das System, sagen wir auf zwei SSDs im Raid 1 zu packen und die restlichen Platten direkt an Ceph zu vergeben.
Dazu noch SSD(s) als Journalplatte(n) hinzuzufügen.

PVE muss nicht auf SSDs liegen, wenn PVE das einzige ist was darauf liegt.

Und könnt ihr mir SSDs empfehlen?

http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

Wie groß im Verhältnis zu OSDs muss eine Journalplatte sein oder wie viele?

Das ist abhängig von der Anzahl der Platte, der Größe der Platten, der Geschwindigkeit der Platten und der Größe der OSD SSDs. Für dein System werden zwei für mirroring reichen.