Umstrukturierung Infrastruktur. Ich bitte um Input.

[apusgrz]

Seit mehreren Jahren setze ich einen einzelnen Proxmox Server für verschiedenste Aufgaben ein. (LDAP, Web-services, Build-Host, Test von Systemen, Playground etc.). Durch immer mehr Last und entsprechenden Alter dieses einen Servers möchte ich diesen einen Server besser aufbauen ..

Mein Ziel:
keine Downtime beim Upgrade von Host (sei es OS oder Hardware)
(muss) kein HA-Cluster mit Failover sein (wäre aber ein nice to have)
gutes Preis-Leistung-Verhältnis und lange Lebensdauer (im Sinne von Upgradeability)

Mein aktueller Plan sind zwei idente Server (Dell PowerEdge R6515/R7515) als Cluster geschalten und die Leistung pro Node nur für 75% auszunutzen.

Zu meinen Gedanken die ich durch Recherche entwickelt habe ...

1) Ich würde gerne um nicht nur auf einem Server die Last zu haben, VMs aufgeteilt auf beiden Server laufen lassen und nur beim Upgrade die VMs auf nur einen Server verschieben. Sollte möglich sein, oder? Natürlich sind dann in diesen maximal 30 Minuten die Last auf diesem einen Server doppelt so stark und dadurch eventuell die IO und CPU sehr hoch. Aber in meinen Augen besser als Downtime. Oder fliegt mir dann der Server um die Ohren?
2) Damit ich Live migrieren kann, brauche ich shared Storage. Ich dachte an ein externen Server mit CEPH welcher über 10GBit angeschlossen ist an beide Server. Über den Single Point of Failure bin ich mir bewusst. Wäre aber vermutlich aufgrund der Lastenverteilung besser und günstiger als die zwei Server stärker auszustatten damit diese auch noch sich um das verteilen der Daten zu kümmern. Oder wäre ein NAS (QNAP, Synology) preiswerter?
3) Um HA auch noch zu haben, bräuchte ich ein drittes Device (manche verwenden einen RPi dafür). Ist es möglich dieses Gerät nur als "Stimmenabgaber" zu konfigurieren, also das keine VMs auf diesem laufen?
4) Aktuell haben wir Primary und Secondary DNS auf zwei unterschiedliche Maschinen mit Pacemaker laufen. Ich würde diese Practice beibehalten und nur bei HA den Primary DNS lassen und diesen von Proxmox managen zu lassen.

Was ist aktuell Best-Practice für mein Ziel?
Externer Storage? Nur die zwei Maschinen?

Wäre für eure Gedanken und Inputs sehr dankbar

 

[gurubert]

Bei nur zwei Knoten kann ein einzelner Knoten nur zu 50% ausgelastet werden, sonst kann der Workload nicht auf den anderen migrieren. Generell sollte ein Knoten von N also 1/N seiner Kapazität frei halten.

 

[Dunuin]

Seit mehreren Jahren setze ich einen einzelnen Proxmox Server für verschiedenste Aufgaben ein. (LDAP, Web-services, Build-Host, Test von Systemen, Playground etc.). Durch immer mehr Last und entsprechenden Alter dieses einen Servers möchte ich diesen einen Server besser aufbauen ..

Mein Ziel:
keine Downtime beim Upgrade von Host (sei es OS oder Hardware)
(muss) kein HA-Cluster mit Failover sein (wäre aber ein nice to have)
gutes Preis-Leistung-Verhältnis und lange Lebensdauer (im Sinne von Upgradeability)

Mein aktueller Plan sind zwei idente Server (Dell PowerEdge R6515/R7515) als Cluster geschalten und die Leistung pro Node nur für 75% auszunutzen.

Zu meinen Gedanken die ich durch Recherche entwickelt habe ...

1) Ich würde gerne um nicht nur auf einem Server die Last zu haben, VMs aufgeteilt auf beiden Server laufen lassen und nur beim Upgrade die VMs auf nur einen Server verschieben. Sollte möglich sein, oder? Natürlich sind dann in diesen maximal 30 Minuten die Last auf diesem einen Server doppelt so stark und dadurch eventuell die IO und CPU sehr hoch. Aber in meinen Augen besser als Downtime. Oder fliegt mir dann der Server um die Ohren?

Stimme ich gurubert zu, da solltest du mit 50% planen und nicht mit 75%.

2) Damit ich Live migrieren kann, brauche ich shared Storage. Ich dachte an ein externen Server mit CEPH welcher über 10GBit angeschlossen ist an beide Server. Über den Single Point of Failure bin ich mir bewusst. Wäre aber vermutlich aufgrund der Lastenverteilung besser und günstiger als die zwei Server stärker auszustatten damit diese auch noch sich um das verteilen der Daten zu kümmern. Oder wäre ein NAS (QNAP, Synology) preiswerter?

"ein externen Server mit CEPH" wird nichts. Für CEPH musst du deine Disks auf mindestens 3 Servern verteilen. Bei nur 2 Nodes könntest du ZFS Replikation benutzen. Sind dann aber zwei Local Storages die über Synchronisations-Jobs relativ identisch gehalten werden. Hast du den Vorteil das es schneller ist weil beide Server die Daten lokal liegen haben und die nicht erst über das langsame LAN anfragen müssen und dass das auch mit nur zwei PVE Nodes läuft. Nachteil ist, dass da immer bei HA immer etwas an Daten verloren gehen, weil die ZFS Pools nie ganz synchron sein können. Wird die Replikation jede Minute durchgeführt und ein Server fällt plötzlich aus, dann fehlen dem anderen Server die letzten 0-60 Sekunden. Wenn dir HA nicht so wichtig ist natürlich nicht so schlimm, weil beim geplanten Migrieren ja sichergestellt werden kann, dass da der migirierte Gast synchron ist. Und ein Nachteil ist, dass du da alles doppelt speichern musst.
NAS mit NFS wäre die dritte Option. Ist von der Performance aber nicht so toll wegen der Latenz durch das Netzwerk und den Overhead vom NFS Protokol. Und macht das NAS dann mal Probleme, dann laufen beide PVE Server nicht mehr.

3) Um HA auch noch zu haben, bräuchte ich ein drittes Device (manche verwenden einen RPi dafür). Ist es möglich dieses Gerät nur als "Stimmenabgaber" zu konfigurieren, also das keine VMs auf diesem laufen?

Ja, genau das macht ja ein Raspi als QDevice. Aber nicht vergessen das ein Raspi nicht gerade das zuverlässigste ist, gerade wenn man nur die SD-Karte nutzt und keine SSD per USB anschließt. Wenn Zuverlässigkeit wichtig ist vielleicht lieber einen sparsamen x86 Thin-Client holen.

 

[gurubert]

Die Idee mit dem "einen" Ceph-Server hatte ich ganz überlesen. Das ist natürlich nix.

Als Alternative zu ZFS async würde sich DRBD anbieten, da gibt es eine Integration von Linbit für Proxmox. Das wäre dann synchron. Bei distributed Storage ist das Netto immer deutlich weniger als das Brutto wegen Redundanz.

 

[apusgrz]

Vielen Dank für den Input.
Das heißt es ist eigentlich egal, ob 50% der VMs auf Node 1 und die anderen 50% auf Node2 laufen. Da ich immer gleich viel Ressourcen zuviel "bezahle" ..

Wie erwähnt ist HA nicht so wichtig. Der Server lauft bei mir seit 4 Jahren ohne einen Ausfall (der nicht mein verschulden war .. hust) - also würde sich die Option mit ZFS Pools synchronisieren definitiv anbieten. ZFS Pools heißt aber auch, ich kann auf einen Raid Controller verzichten, soweit ich weiß. Ich schätze wir reden von diesem Ansatz: https://pve.proxmox.com/wiki/PVE-zsync ?

Ja, es wird vermutlich kein Raspberry sondern ein ThinClient bzw. NUC.

 

[Dunuin]

Vielen Dank für den Input.
Das heißt es ist eigentlich egal, ob 50% der VMs auf Node 1 und die anderen 50% auf Node2 laufen. Da ich immer gleich viel Ressourcen zuviel "bezahle" ..

Ist prinzipiell egal ob du auf die 100% verfügbaren Server 50% + 50% oder z.B. 25% + 75% aufteilst. Hauptsache du kommst in der Summe nicht über die 100% Ressourcen, dass du da kein Overprovisioning des RAMs etc betreiben musst.
50% + 50% wäre aber wohl am sinnvollsten, da dann die Last am gleichmäßigsten verteilt ist, dass da alle Gäste gleich viele verfügbare Ressourcen haben.

Wie erwähnt ist HA nicht so wichtig. Der Server lauft bei mir seit 4 Jahren ohne einen Ausfall (der nicht mein verschulden war .. hust) - also würde sich die Option mit ZFS Pools synchronisieren definitiv anbieten. ZFS Pools heißt aber auch, ich kann auf einen Raid Controller verzichten, soweit ich weiß. Ich schätze wir reden von diesem Ansatz: https://pve.proxmox.com/wiki/PVE-zsync ?

Jup.