Also wenn es wirklich klein sein soll im Sinne, wie klein funktioniert noch:
3x Supermicro X10SDV-2C-TP8F, 16GB Speicher, 32GB M.2 SSD, 2x 6TB WD RED. Nur CEPH kommuniziert via MESH mit DAC-Kabeln über die 10GBit-Schnittstelle.
Das läuft hier inzwischen gut ein Jahr ganz brauchbar. Seit einem der letzten Kernel und dem Upgrade auf 32GB Speicher funktioniert auch das Backup inzwischen stabil. Bis auf die Abschaltung der Debug-Funktionen in CEPH ist das System quasi "out of the box" installiert.
Was hab ich drauf:
2x SAMBA DC
1x Mailserver Kopano, vollverschlüsselt
1x Fileserver SAMBA, vollverschlüsselt
1x Mediaserver SERVIIO
1x Windows 10 Pro, das ist aber schon recht träge. Die Gasterweiterung will nicht so wirklich. Proxmox und Windows mögen sich irgendwie nicht. Linux/Unix-derivate laufen definitiv deutlich besser um nicht zusagen "In einer ganz a
1x ESX 6.7 als Notsystem falls das VSAN wegklappt und die VCSA zur Reparatur woanders laufen muss. Das geht sehr gut.
3-4 Linux Spielsysteme für Installationsversuche diverser Anwendungen
Die geringe Anzahl OSD hat natürlich extremen Einfluss auf den Durchsatz. Bei größeren Kopieraktionen hat man schonmal kurzzeitig 50% IO Wait im Gast. Die CPUs der Hosts langweilen sich aber meist bei 6-10% Last. Mit SSD-Cache und mehr HDDs würde das CEPH vermutlich noch richtig in Schwung kommen.
Es geht aber noch kleiner: 3x ASROCK N3700-ITX, 16GB Speicher, 1x 2TB Bootplatte, 1x 4TB WD RED. Die fehlende 10GBit-Schnittstelle hat das Ceph dann doch extrem ausgebremst.
Aber für den Hausgebrauch bei zwei Usern des Gesamtsystems war das bei täglichen Streicheleinheiten durchaus noch funktional. Der IO stand aber halt gerne mal eine Weile auf 98% und da kam dann doch schonmal der ein oder andere Abbruch. Von Timeouts und Warnung auf der Konsole bzgl. CPU Timeout ganz zu schweigen. Mit viel Parameter-Tuning in ceph.conf, sysctl Host, syctl Guest hatte ich das einigermaßen in den Griff bekommen.
Windows und ESX liefen da aber nicht drauf. Die restlichen Gäste von oben liefen aber auch auf diesem Winzigsystem. Hier war die Systemlast deutlich höher, ca. 70% und es ist ja ein 4-Core.
Auf diesen Winzigsystem habe ich inzwischen meinen ESX VSAN Spielsystem laufen. Der leidet natürlich genauso am fehlenden 10GBit und vor allem am zuwenig Speicher für die VCSA. Aber es laufen einigermaßen passabel zwei Windows10 auf den Kisten. Ich meine sogar besser als auf dem eigentlich schnelleren Proxmoxsystem.
Soweit zum Thema wie klein noch funktioniert.
Das das alles weit von einem brauchbaren gewerblichen Einsatz weg ist, sollte klar sein. Speziell die N3700 sind mehr eine Machbarkeitsstudie, da die zwar eigentlich gut laufen, wenig Strom brauchen, aber sehr schnell thermal ausgebremmst werden und nicht mehr als 16GB, bei Supermicro offiziell sogar nur 8GB, Speicher können.
Achso, das sind alles voll virtualisierte Gäste. Container nutze ich nicht, da die nach meinem Wissen nicht life verschoben werden können. Und die Verschlüsselung schon auf CEPH-Ebene ist mit Proxmox auch so eine Sache.
