HW-Empfehlung und Sizing für Proxmox-Cluster für KMU

[felix.steinbeis]

Hallo zusammen,

für ein kleines Unternehmen mit 6 Mitarbeitern plane ich einen 2-Node Proxmox Cluster + QDevice.
Auf den zwei Nodes sollen jeweils 4-6 VMs laufen, gegenseitig repliziert und im Fehlerfall soll ein Node in der Lage sein, alle 8-12 VMs übergangsweise betreiben zu können. Die VMs sind allesamt nicht besonders lastintensiv. Im Wesentlichen sind es Windows DC und Windows Terminal Server, Fileserver, Mailserver und kaufmännische Software.

Als Fileserver plane ich TrueNAS, ggf. mit Disk Passthrough, weiß aber noch nicht, welche Auswirkungen das auf HA und Replizierung hat.

Als Dateisystem plane ich ZFS, daher folgende Überlegung:

Bord: Supermicro Mainboard H12SSL-NT
CPU: AMD EPYC 7313P (3,00 GHz, 16-Core, 128 MB)
RAM: 128 GB (4x 32GB) ECC Reg
HDD: 2 x 4 TB, SATA-3, ZFS Mirror für Proxmox+VMs, + 1 HDD Spare Drive
HDD: 2 x 8 TB, SATA-3, ZFS Mirror für TrueNAS mit Disk Passthrough + 1 HDD Spare Drive
Onboard NIC: 2 x 10 Gbit/s on Board LAN (Broadcom BCM57416) für Proxmox Cluster
Zusatz NIC: 4 x 10 Gbit/s Netzwerkkarte (Broadcom BCM5719-4P) für Management, LAN, ...

Wie ist Eure Meinung? Was würdet ihr ggf. ändern?
Passt ZFS Mirror mit HDDs? (ggf. mehr RAM oder SSD Cache)?
Wie verhält es sich mit TrueNAS und Disk Passthrough in Kombination mit Cluster und HA?

Ziel ist ein System, was insbesondere stabil läuft und fehlerredundant ist. Das Ganze mit einer soliden Geschwindigkeit, aber es muss kein hoch-performantes System sein. Das LAN ist bisher nur 100 MBit/s, tlw. 1 GB/s.

Ich freue mich über jede Hilfe.

Vielen Dank und viele Grüße
Felix

 

[UdoB]

Passt ZFS Mirror mit HDDs? (ggf. mehr RAM oder SSD Cache)?

Weder ein (Lese-) Cache noch ein SLOG wird dich mit Blechplatten glücklich werden lassen. (Ja, das ist ein Pauschalurteil.) Und steck soviel Ram hinein, wie du kriegen kannst - wie deine 128 GiB verwendet werden, hast du ja nicht dargelegt.

Ich empfehle für Blechplatten dringend ein Mirrored "Special Device" einzubauen, bestehend aus Enterprise SSDs. Such hier mal im Forum, das Konzept wurde vielfach besprochen.

Viel Erfolg!

 

[Johannes S]

Bei TrueNAS wird dazu geraten, die Datenplatten nicht virtualisiert oder per Passthrough, sondern mit einen durchgereichten PCIE-Storage-Adapter zu betreiben: https://forum.proxmox.com/threads/best-approach-for-a-truenas-vm.121527/

Das beißt sich aber natürlich mit dem Anspruch dass die NAS-VM von einen auf den anderen Knoten repliziert werden kann.

Was allerdings stattdessen gemacht werden könnte:

Jeder Knoten kriegt einen PCIE-Storage-Adapter mit angeschloßenen Festplatten für eine NAS-VM, auf beiden Knoten wird eine NAS-VM auf diesen Platten betrieben. Diese VMs tauschen ihre Daten per Replikation (funktioniert wie die in proxmox auf ZFS-Basis) untereinander aus: https://www.truenas.com/docs/scale/...rotection/replication/remotereplicationscale/

Dann muss man sich noch ein Konzept überlegen, wie man bei einen Ausfall den Benutzern plus Anwendungen klar macht, dass sie die andere VM als Datengrab nutzen müssen.
Zur Performance: Wenn du deine Netzwerkinfrastruktur so planst, dass du die vollen 10 Gbit deiner Netzwerkkarten nutzen kannst, sollte das passen. Bei Clustern wird aber empfohlen, die Datenreplikation und Cluster-Kommunikation auf je eigenen Netzwerken laufen zu lassen, ggf. noch mit einer extraverbindung für Redundanz:
https://pve.proxmox.com/wiki/Cluster_Manager

Ich verstehe doch richtig, dass du pro Server sechs Netzwerkports hast? Damit sollte sich das schmerzfrei implementieren lassen.
Generell werden bei dir eher die Festplatten der Flaschenhals sein, die VMs sollten schon auf SSDs liegen, für Daten (je nach Usecase) gehen die HDDs natürlich klar.

Was ich generell noch in deinen Konzept vermisse: Wie du die VMs und Daten backuppen möchtest. Bei Proxmox bietet sich natürlich die native Lösung (Proxmox Backup Server) an, die sollte dann aber auf einen eigenen physikalischen Server laufen. Dieser kann dann auch als qdevice fungieren und muss dafür auch nicht im Cluster-Netzwerk sein. Was hast du denn aktuell als qdevice geplant?
Zusätzlich sollte man diese Backups auf eine andere Location übertragen, dafür bietet sich ein Vserver mit installierten PBS an oder ein PBS-Clouddienst wie Tuxis: https://www.tuxis.nl/de/proxmox-backup-server/
Damit ist allerdings noch nichts über anwendungsspezifische Besonderheiten gesagt, SQL-Datenbanken wollen ja üblicherweise noch ihre eigene Sicherung haben.

Aufgrund des internen Aufbaus der Backups (viele kleine Dateien) sollten dort ebenfalls SSDs zum Einsatz kommen.
Als Kompromiss bietet sich das von UdoB erwähnte mirror special device auf SSDs an.
Dass die Platten (ob SSD, NVME oder HDD) keine Consumerhardware sind, setze ich mal als gegeben voraus, bei RAM hast du ja schon ECC eingeplant.