Proxmox Hardwareplanung

[Zimbo]

Hallo,

unserere Firma möchte einen Proxmox-Cluster bei Hetzner aufsetzen. Der Cluster soll die Systeme von mehreren physikalischen Servern aufnehmen (vorallem Webserver, Entwicklungssysteme, Collaborations-Server, Mailserver, Newsletter, Ticketsysteme, paar kleinere Services) und darüber hinaus Reserven bieten und für die zukünftig leicht erweiterbar sein.

Bin Proxmox Frischling. Eine erste Einschätzung würde mir sehr helfen:

1. 1x Linux Server physich AX42-NVME (als Gateway, Router, Termination etc.)
> AMD Ryzen 5 3600 Hexa-Core
> 64 GB RAM ECC
> 2 x 512 GB Datacenter NVMe-SSD
473,28 €

2. 4x Linux Server physisch AX161 (für Proxmox OSD-Node, Mon, Mgr)
> AMD EPYC™ 7502P 32-Core "Rome"
> 2x 480 GB Datacenter SSD (for System & ggf. Ceph-Journal)
> 3x 3,84 TB Datacenter NVMe-SSD (for CEPH-Storage)
> 288 GB RAM ECC
18.207,36 €

2.2 1x Linux-Server physich SX62 (for Backup-Storage)
> 4 x 10 TB Datacenter HDD (for Backup-Storage)
890,88 €

3. Netzwerk
3.1 12-Port 10 Gbit Switch (for all 5 Servers), 598,56 €
3.2 Subnet /27 (30 verwendbare IPs), 374,28 €
3.3 LAN-Karte 10G NIC 111,36 € (Backup-Server)
3.4 LAN-Karte Dual 10G NIC, 835,20 €
3.5 11x LAN Connection 10G, SFP+, 382,80 €

Preis derzeit:

21.400,44 €​

Das wäre auch das abs. Maximum für strukturelle Kosten. Weniger wäre gut.
Bei den Hardwareressourcen benötigen wir bisher summarisch (ohne Backup) ~40 Kerne, ~340GB RAM, ~15TB.
Wie ist der zusätzliche Ressourcenbedarf durch HA einzuschätzen? Würdet ihr die Hardware anders planen?

Welche Netz-/Proxmox-Config würdet ihr empfehlen?

Gruß
Zimbo

 

[r.jochum]

Hey Zimbo,

bin neugierig was sind das für Euronen? Kosten in 5 Jahren? Oder kauft Ihr die Hardware?

Du hast alles ausfallsicher bis auf die Firewall und den Switch, da würde ich aufpassen.

Ich hab noch nie einen großen Cluster gesized, ich weiß aber davon das man storage (ceph) und promox corosync von einander phsysisch trennen sollte.

1. GiB RAM pro TB HDD/SSD/NVMe für Ceph ist Pflicht, hast aber ehh haufenweise eingeplant.
4 x Nodes - 1 solltest du maximal belegen damit immer eine Ausfallen kann.

Ich schreib später nochmals wenn mir noch was einfällt,

LG,
René

 

[Zimbo]

Hallo ,

das sind die reinen Mietkosten pro Jahr in einem Hetzner Rechenzentrum, wobei eine Proxmox Subscription für die 4 Server ja noch hinzu käme. Momentan bin ich aber noch in einer sehr frühen Planungsphase und muss mich erst weiter mit Wissen auftanken.

Ram ist tatsächlich reichlich. Hier werde ich aber am schnellsten streichen, wenn die Kosten zu hoch würden.

21.000 jährlich klingt zunächst viel, wenn man aber bedenkt dass hier redundante Anbindung, 24/7 Support, DDOS-Schutz etc. inkl. sind ist das angemessen.

ich weiß aber davon das man storage (ceph) und promox corosync von einander phsysisch trennen sollte.

Du meinst ein eigenes Interface für Corosync und nicht über VLAN? Siehst du das Performanceprobleme mit einem 10G Interface für Ceph und einem für VM-Trafic und Corosync (per VLAN)? Braucht Corosync soviel Bandbreite?

Du hast alles ausfallsicher bis auf die Firewall und den Switch, da würde ich aufpassen.

Ich weiß, aber wie könnte man das technisch bei Hetzner lösen?
Ein Cloud Server z.B. CX51 wäre wohl am einfachsten, aber wie bindet man dann die physikalischen Server an und wie ist hier die zur Verfügung stehende Bandbreite?? Die Alternative wäre ggf. ein 2. physikalischer Gateway-Server mit Floating-IPs.

Falls jemand von der Community oder dem Proxmox-Team mir in dieser frühen Planungsphase die Richtung weisen könnte, wäre klasse.

cu
Zimbo

 

[Ingo S]

Wenn dir ein Server oder eine OSD weg fällt, wegen irgendwas, dann geht im Netzwerk für Ceph echt die Post ab. Je nach Konfiguration erreichst du sehr schnell, das dein Ceph-Netzwerk mit traffic für den rebalance gesättigt ist, gerade wenn du flotte SSDs im Einsatz hast...

Wenn dann da noch das bisschen Corosync drüber laufen soll, kann das zu Problemen führen, da Corosync Pakete zeit- und verlustkritisch sind. Wenn du das via VLAN machst, geht das ja über den selben physikalischen Link. Das bringt nur was, wenn du dem Corosync VLAN eine garantierte Bandbreite einräumen kannst und via QoS sichergestellt ist, das die Pakete flott und verlustfrei ankommen. Ein ganz normaler 100MBit oder 1GBit Kupfer Link ist für Corosync absolut ausreichend und erspart dir das Risiko das dein PVE Cluster insgesamt ins Wanken gerät, nur weil Ceph sich gerade repariert.
Das gleiche gilt natürlich für den "User- und Admintraffic". Wenn der einzige Link zum Cluster durch Ceph gesättigt ist, dann kann im Fehlerfall die Steuerung des Cluster sehr... ähm naja sagen wir mal, Panik verursachend sein.