Wie Proxmox-Setup auslegen? (Anforderungen)

[sjjh]

Hallo zusammen, ich bin neu hier und bei Virtualisierungsmanagementlösungen. Ich habe meine Frage schon mal im englisch-sprachigen Forumsteil gestellt, dort ist sie aber leider etwas unter gegangen, daher hier ein neuer Versucht.

Konkret brauche ich ein paar Ratschläge, um die beste Systemkonfiguration für uns zu finden, z.B. wie viele Server, wo man sie aufstellt, ZFS vs. CEPH, Menge an CPU, RAM, ... Allgemeiner gesprochen (und um diesen Thread auch für andere hilfreich zu machen), bin ich neugierig darauf, welche Kriterien bei der Entscheidung für eine gute Lösung eine Rolle spielen und welcher Wert für die Wahl der einen gegenüber der anderen Lösung relevant ist (z. B. Kriterien: Anzahl der Benutzer, Wert: <20 = Alternative A, >20 Alternative B). Wenn es einen guten Assistenten/Algorithmus/Erklärung gibt, wie man eine gute Lösung auswählt, freue ich mich über einen entsprechenden Hinweis

Für meine spezifische Situation/Frage habe ich einige Fakten zusammengefasst, von denen ich annehme, dass sie für die Entscheidung relevant sind. Bitte gerne für mehr Details/andere Informationen nachfragen, um einen guten Rat geben zu können.

Zur Organisation, für die das System eingerichtet werden soll
Eine intentionale Gemeinschaft, ein Ökodorf (von den Werten her passt Freie und Open-Source-Software gut dazu, und es gibt eine Neigung zum Selbsthosten vor Ort). 150 Menschen arbeiten und leben zusammen in einem kleinen Dorf (~15 Gebäude), weitere Angestellte kommen zum Arbeiten hierher. Die Gemeinschaft besteht aus einer Schule (~80 Kinder, ~15 Lehrer), einem Seminarhaus (~50 Betten, ~5 Angestellte), einer Landwirtschaft (~30ha Land, ~6 Angestellte), einer Küche mit Kantine (3 Mahlzeiten x 340 Tage/Jahr; ~10 Angestellte), einer Verwaltung (~3 Angestellte), Hausmeisterei (~4 Angestellte), Carsharing, einem Dorfladen, einem Werkstatt-/Bürohaus (>1. 000qm, Tiny-House-Bau, Maschinenbau, Online-Shop-Lager, Architekten, ... ; ~25 Personen), ein Umsonst-Laden, ein kleines Fablab, ein Fernwärmesystem, ein Jugendprojekt, ... Die gesamte Gemeinschaft ist selbstorganisiert, viele Aktivitäten werden ehrenamtlich erledigt und viele Leute arbeiten in Teilzeit. Es gibt also eine große BYOD-Kultur. Die Gemeinschaft hat drei juristische Personen: eine Genossenschaft, einen Verein und eine Stiftung. Das Budget ist (sehr) begrenzt.

Zur vorhandenen IT-Infrastruktur
Ein klimatisierter Raum mit einem Serverschrank, der derzeit Folgendes enthält:
- OPNsense mit Firewall, VPN, Web-Proxy, DHCP, DNS, ...
- Synology RS812+ (HW EOL) mit 4x4TB HDDs als NAS (verwendet für die Datenspeicherung aller Projekte und für Backups)
- proprietäre PBX-Anlage (EOL)
- Desktop-PC für Fernwärmesteuerung und Visualisierungssoftware
- Desktop-PC für die Buchhaltung-Software
- 3x Server für einen anderen Verein (mit einem Büro vor Ort und landesweiten VPN-Nutzern)
- Desktop PC mit einer Proxmox VE Testinstallation
- 3 Switches (1Gbit/s, ein Glasfaser-Switch, ein Switch mit 10Gbit Uplink)
Die verschiedenen Gebäude sind über Glasfasern miteinander verbunden. Insgesamt 28 gemanagte Switches (alle 1GBit/s Verbindungen), plus einige nicht gemanagte (Desktop) Switches. Downlink vom Internet inzwischen 1Gbit/s + 30Mbit/s (für VoIP).
5 WiFi AP's in zwei Gebäuden.
In einem separaten Gebäude ein Backup für das NAS (Synology DS414).
Ungefähr 20 Desktop-PCs im Büro, eine wachsende Anzahl von Laptops und ca. 20 Computer/Laptops in der Schule.
Drei Netzwerk-Multifunktionsdrucker (zwei davon mit lokal konfigurierten Kostenstellen).
vernetzte Unterverteilerstationen für die Fernwärme, 14 vernetzte Solarwechselrichter, eine steigende Anzahl von vernetzten Solarwärmedatenloggern.
Eine Wetterstation, die einen Raspberry Pi mit Weewx zur Verarbeitung der Daten nutzt. Eine digitale Waage mit einer selbstprogrammierten Web-App zur Analyse der Ernteergebnisse.
Jedes Gebäude, sowie Gastnetz, Heizung, Solar, haben ihr eigenes VLAN.
Website, E-Mail und Mailinglisten werden extern gehostet.

Zu den geplanten IT-Diensten
Virtualisierung des Buchhaltungsservers, des Fernwärmeservers und der Telefonanlage, um HW (und Energie) zu sparen.
Einführung einiger "Infrastruktur-IT", z.B.
- zentrale Kontenverwaltung (für Computer & Laptops), SSO-Dienst
- Überwachung (inkl. SNMP)
- Verzeichnisdienst (LDAP)
- USV
Einige neue Dienste, auch für Endnutzer
- Energiemanagementsystem, mit Visualisierung
- Forum
- Umfragen
- Kalender
- Adressbuch
- ...
Generell wird eine steigende Anzahl von Endgeräten erwartet.

 

[L1243]

Bei dem Bedarf würde ich an deiner Stelle jemanden da ran lassen, der sich damit auskennt und davon lernen.
Wenn intern niemand vorhanden, dann von einem Dienstleister machen lassen.

Außer es ist nich dramatisch wenn die ganzen Dienste mal einige Zeit Offline sind und niemand damit arbeiten kann (auch der Verein für den Ihr anscheinend hosted).
Wie sieht es mit redundanter Internetanbindung aus? Das sollte ja ein must have sein, wenn Ihr Dienste für 3. bereitstellt.

Gerade da Ihr die Infrastruktur noch erweitern wollt, wir den Bedarf nicht genau kennen etc. ist es eigentlich unmöglich da passende Server für zu empfehlen (auf Basis dieser Infos).
Wir wissen ja nicht welchen Dienst ihr am Ende wofür und wie benutzen wollt, wie kritisch das ganze ist etc.

Das ganze sehe ich für jemanden der ganz neu im Thema ist, etwas zu groß an (nicht böse gemeint). Gibt sicher Firmen/Freiberufler vom Fach die dabei unterstützen und auch entsprechende Einarbeitung liefern, damit man in Zukunft möglichst unabhängig ist und die Geschichte selbst weiter betreuen kann.

 

[Falk R.]

Wenn ihr mit PV eigenen Strom produziert und eventuell auch Stromspeicher habt, kannst du gern gebrauchte Enterprise Server nehmen, die etwas mehr Strom ziehen, aber viel Leistung fürs Geld bringen.
Ob euch zwei Server Mit ZFS Replikation reichen oder ob ihr auf 3 Server+ geht mit Ceph, dafür müsste man mehr Informationen über geplante Verfügbarkeit und Last wissen.
Und ganz wichtig, Backup nicht vergessen in der Planung.

 

[sjjh]

Danke für eure Rückmeldungen!

Außer es ist nich dramatisch wenn die ganzen Dienste mal einige Zeit Offline sind und niemand damit arbeiten kann

Es sollte halt besser werden als jetzt.
Beispiel Buchhaltung: derzeit ein Bare Metal Server der täglich gesichert wird. D.h. jeder potentielle Datenverlust < 12h ist eine Verbesserung.
Beispiel Synology NAS: derzeit ein Bare Metal Server, der 3x täglich gesichert wird. Hier bin ich mir bspw. unsicher ob wir die Kiste so laufen lassen wollen oder das NAS auch mittels Proxmox vitualisieren sollten.

Wie sieht es mit redundanter Internetanbindung aus?

Derzeit zentral nicht vorhanden (aber auch out of scope, würde gerne akut die Virtualisierung angehen), workaround ist aktuell ggf. dezentrale Hotspotnutzung.

Gerade da Ihr die Infrastruktur noch erweitern wollt, wir den Bedarf nicht genau kennen etc. ist es eigentlich unmöglich da passende Server für zu empfehlen (auf Basis dieser Infos).
Wir wissen ja nicht welchen Dienst ihr am Ende wofür und wie benutzen wollt, wie kritisch das ganze ist etc.

Verständlich. Ich kann mal probieren zu den oben genannten Services die HW-Anforderungen zusammen zusammeln um evtl. eine Summe an RAM, CPU und HDD-Platz auf zu addieren. Wobei ich bisher selten Angaben zur Anzahl von CPU Kernen gefunden habe. Bräuchte es noch mehr Info, und falls ja, welche? Neben dem reinen sizing der Server, beschäftigt mich auch die Frage nach der Konfiguration/Komponentneauswahl (wie geschrieben bspw. CEPH vs. ZFS Cluster).

Das ganze sehe ich für jemanden der ganz neu im Thema ist, etwas zu groß an (nicht böse gemeint).

Fair enough. Zum Glück nicht ganz neu in der IT. Wir sind auch mit Anbietern im Kontakt. Wenn es Tipps gibt, für passende Dienstleister mit Fokus auf kleine, komplexe, zahlungsschwache Kunden mit hohem ökologisch-sozialem Werteanspruch, freue ich mich über Hinweise.

Wenn ihr mit PV eigenen Strom produziert und eventuell auch Stromspeicher habt, kannst du gern gebrauchte Enterprise Server nehmen, die etwas mehr Strom ziehen, aber viel Leistung fürs Geld bringen.

PV ist vorhanden (Speicher angedacht), wobei schon jetzt Stromverbrauch höher ist Erzeugung. Dennoch: Ich habe auf die Schnelle eine LCA von DELL gefunden, nach der bei 4-jähriger Nutzung der CO2-Fußabdruck eines Servers in Herstellung und Nutzung 50%:50% sei. Das spricht in meinen Augen auf jeden Fall für refurbished HW, auch wenn ich bisher keinen empfehlenswerten Anbieter kenne (freue mich über Hinweise). Arbeitsplatz-HW kaufen wir gerne bei afb-shop, aber AFAIK bieten die keine Server an. Ich habe schon den Hinweis gehört auch bei refurbished HW jedoch neue SSDs einzusetzen, da die unbekannt/stark beansprucht sein können. Alternativ wäre ein nachhaltiger Hersteller interessant, aber ein Pendant zu bspw. Fairphone oder Nager-IT für Server ist mir ebenfalls nicht bekannt.

Ob euch zwei Server Mit ZFS Replikation reichen oder ob ihr auf 3 Server+ geht mit Ceph, dafür müsste man mehr Informationen über geplante Verfügbarkeit und Last wissen.

Datenverlust < 12h (Buchhaltung, Heizung, ...) bzw. <6h (NAS) ist eine Verbesserung. Ausfall: Bisher keine Redundanz der Server, Neuaufsetzen würde (je nach betroffenem System) vermutlich mind. 1 Tag dauern. Für NAS (RAID) liegt immer 1 ersatz-HDD bereit. Last kann ich wie oben geschrieben probieren anhand der angedachten Dienste versuchen über deren Systemanforderungen zusammen zu sammeln. Braucht es weitere Infos, welche?

Und ganz wichtig, Backup nicht vergessen in der Planung.

Danke. Bisher nutzen wir das NAS für Backups, was seinerseits 3x täglich auf ein Backup-NAS in einem getrennten Gebäude gesichert wird. Was wäre hier die empfohlende Architektur? Weiterhin auf NAS (SMB/NFS) oder besser Proxmox Backup Server (habe ich mir noch nicht angeschaut)?

Was ich bisher verstanden habe: Aspekte/Vorgehen um ein Sizing und Architektur zu entscheiden:

• akzeptierter Datenverlust: keiner: CEPH Cluster; wenige Minuten (~3-15min, je nach Datenmenge und Netzwerkgeschwindigkeit): ZFS Cluster
• Clustertyp: CEPH: mind. 3 Server; ZFS: mind 2. Server + Quorum Device
• notwendige Verfügbarkeit: ??
• HW-Größe (RAM, HDD, CPU) der Server: Summe der HW-Anforderungen der zu virtualiserenden Dienste, zzgl. Proxmox Systemanforderungen (wobei die Angabe "1GB RAM je 1TB Speicher für CEPH relevanter scheint als für ZFS??)
• Netzwerkanbindung: abhängig von Clustertyp und zu übertragender Datenmenge, bei CEPH: jeder IO-Befehl, idR. >10GBit/s, <1ms Latenz; ZFS: idR. 10GBit/s ausreichend (lässt sich über Sync-Intervall etwas steuern)

Freue mich über Ergänzungen, Korrekturen und weitere Hinweise.

 

[Falk R.]

Hi @sjjh,

ich kaufe gern gebrauchte Sachen bei https://www.2nd-source.de/ aber es gibt noch viele andere gute Anbieter für gebrauchte Server.
Wenn du mir sagst wo du herkommst, ich habe noch einen HPE DL380 Gen9 rumliegen und für den guten Zweck kann man da bestimmt was machen.
Ich empfehle dir dann 2 Server mit ZFS Replikation, Sizing kommt mit Infos von dir.
Bei der Replikation kannst du auch für Wartungszwecke im laufenden Betrieb deine VMs schwenken ohne großen Aufwand oder Ausfall.
Wenn du die Replikation auf 5 Minuten oder wie bei mir auf 1 Minute setzt, hast du ja schon eine Menge gewonnen.

SSDs kaufe ich auch gebraucht, aber nur Enterprise SSDs. Bei Consumer SSDs habe ich schon einige kaputtgeschrieben gesehen, aber bei Enterprise SSDs noch keine. (Kaputt gehen die aber trotzdem irgendwann einmal.)

Ich würde schon auf einen PBS setzen, statt NAS. Wenn ihr aber eine NAS mit viel Volumen rumstehen habt, geht das für den Beginn auch erst einmal. Der PBS ermöglicht dir viel mehr Restorepunkte durch inkrementelles Backup und Dedup sowie Filelevel Restore.