Frage zum Design - PVE Cluster für KMU

grefabu

Well-Known Member
May 23, 2018
227
13
58
49
Moin,

die Themen wurden hier schon verschiedentlich behandelt, aber ich bin für mich noch zu keinem Anschließenden Urteil gekommen:

Einleitung:
Wir sind eine Unternehmensgruppe mit ~ 100 Mitarbeitern. Unsere Kerngesellschaft hat rund 20 Mitarbeitern in der Verwaltung, dabei wir sind zwei ITler die die unterschiedlichen Gesellschaften betreuen.

Aktuell habe ich zwei PVE Cluster ohne geteilten Datenspeicher am laufen, also zentrale Steuerung, aber lokale Platten im Einsatz.
Da die Maschinen vom vorgehenden Dienstleister von Anfang an aus meiner Sicht unpassend eingekauft wurden (Drei Server 1 Socket 6Kern, 4 HDDs, GB Interfaces) stoßen wir mit den Maschinen schon jetzt an eine "Designgrenze"
Wir planen zukünftig für die einzelnen Gesellschaftsteile verschiedene Dienste zentral zu verwalten. Das geht dann mit den Maschinen nicht mehr,...

Meine Erfahrungen
mit proxmox sind soweit sehr gut. Die zwei Cluster laufen rund, ich bin sehr Zufrieden. Bei mir ist auch eine vernünftige Erfahrung im Linux Bereich, vor allem Debian GNU Linux vorhanden.
Testweise habe ich mit drei Spielmaschienen (billige Gebrauchtgeräte für die private Weiterentwicklung) PVE cluster mit shared Storage eingesetzt. Ich habe sowohl Cluster mit einem glusterfs Speicher als auch mal ein Ceph aufgesetzt. Wobei ich mit glusterfs ein wenig mehr (Spiel-) Erfahrung habe.

Meine Planung
Wir überlegen momentan neue (wahrscheinlich gebrauchte Server) anzuschaffen. Wir haben mit gebrauchten Servern grundsätzlich schon gute Erfahrung gemacht, ein wenig auf den Preis müssen wir halt auch schauen.
Momentan habe ich als Server folgende Maschine ins Auge gefasst: Dell R720, 2x 8Core Xeon CPU, 256GB RAM, 2x 2.5' HDD, 12x 3.5'' HDD, 10GB SPF+ Karten. Entsprechende 10GB Switche.

Auf die 2.5er HDDs würde dann die Proxmox Installation kommen. Die 12 Platten? Es kommt darauf an was ich danach daraus mache,...
Wenn ich mit glusterfs arbeite wahrscheinlich ein RAID 10, alles zusammen. Wenn ich mit CEPH arbeite wahrscheinlich die Platten einzeln einbinden, so die Empfehlungen die ich bis jetzt gehört/gelesen habe.
Eine Möglichkeit wäre natürlich noch ZFS, mit Replikation,...

Meine Fragen
- Wie steht es bei glusterfs mit der image Größe? Bei großen Images soll es bei einem healing seehr lange dauern? Definition: Was ist groß?
- Ceph und Spindelplatten: Auf den CLT hat ein Kollege von proxmox einen tollen Vortrag gehalten, Moral : SSD SSd und nochmal SSD, aber die teuren Server SSDs. Habe ich schon SSD gesagt? Tja, ich halte unsere anwendungen dann doch überschaubar, Ja da laufen auch Datenbanken drauf, aber selbst auf der momentanen HW haben wir da keine auffälligen Hänger,...
- Wieviel Maschinen benötige ich bei CEPH? Bei Proxmox würde ich zwei neue Server plus einen alten als arbiter fahren. Theoretisch kann man bei glusterfs einfach noch belibige Datenspeicher dazu hängen, das soll ja den Gesamtdurchsatz steigern,...
- Aja: CEPH und ZFS sollen ja RAM hungrig sein. Bei den Maschinen könnten wir auch noch RAM dazu nehmen. Allerdings sind 256GB das vierfache, dass wir momentan bei einem Server zur Verfügung haben,...

Meine Tendenz
Irgendwie weiterhin zur glusterfs Lösung, aber eher, weil ich da schon ein wenig mehr Erfahrung hatte. Und so ein Bauchgefühl.
 
Hi,

- Wie steht es bei glusterfs mit der image Größe? Bei großen Images soll es bei einem healing seehr lange dauern? Definition: Was ist groß?

GlusterFS macht immer einen vollständigen resync wenn es zum Fehler kommt.
Also so lange es braucht x GB durch eine z GBit Netzwerkleitung zu bringen.

- Ceph und Spindelplatten: Auf den CLT hat ein Kollege von proxmox einen tollen Vortrag gehalten, Moral : SSD SSd und nochmal SSD, aber die teuren Server SSDs. Habe ich schon SSD gesagt? Tja, ich halte unsere anwendungen dann doch überschaubar, Ja da laufen auch Datenbanken drauf, aber selbst auf der momentanen HW haben wir da keine auffälligen Hänger,...

Ceph ist halt so wie es ist und wenn es dir reicht OK. Erfahrungsgemäßes sind halt Spinner für DB zu langsam.
Aber dafür kann man ja auch einen SSD pool machen, der klein aber schnell ist.

- Wieviel Maschinen benötige ich bei CEPH? Bei Proxmox würde ich zwei neue Server plus einen alten als arbiter fahren. Theoretisch kann man bei glusterfs einfach noch belibige Datenspeicher dazu hängen, das soll ja den Gesamtdurchsatz steigern,...

Ceph benötigt min 3 nodes.
GlusterFS skaliert gut bis 5 oder 6 Nodes.

- Aja: CEPH und ZFS sollen ja RAM hungrig sein. Bei den Maschinen könnten wir auch noch RAM dazu nehmen. Allerdings sind 256GB das vierfache, dass wir momentan bei einem Server zur Verfügung haben,...

So schlimm ist es auch nicht.
Faustregel pro node
ca. 1GB pro 1TB benutzen Speicherplatz.
ca. 4GB pro Festplatte
 
Moin,

danke für die Rückmeldung.

Klar bieten gute SSDs für eine DB eine wesentliche bessere Performance. Nur habe ich bei den Datenbanken die ich so betrieben habe nie wirklich eine Limitation auf der HW Seite erlebt. Eher aus den SQL Design,... Aber die DBs waren auch eher lowTech.

Ich tendiere dann weiterhin zu glusterFS.

Grüße

Gregor
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!