Klar "skaliert" das eher rustikal. Bei uns allerdings ohne Kopfschmerz realisierbar. 20 hosts a 7 VMs stellt hier auch keiner hin. Da müssen es eben 5 hosts a 30 VMs werden. Da fängt ein Clusterbetrieb auch an Sinn zu ergeben und sogar vermittelbar zu sein.
Proxmox Backup Server unter VE oder auf dem NAS installieren?
- Thread starter haweaug
- Start date
Ich habe das letzte Mal 5 Hosts für 30 VMs ca. 2010 gesehen. Heutzutage sind es ja eher 20-100 VMs pro Host. Je nach Ausstattung.
Also der L8 wird bei uns um 11Uhr per Mail über fehlenden Medienwechsel informiert. Funktioniert überraschend gut. Man kann ja sogar zuerst Kaffee kochen. Sollte das in zu häufiger Frequenz passieren (hier landen Kopien), wird das zum Chef eskaliert.
Hast du mal ein Restore von einer kleinen VM, welche zufällig weit hinten auf dem Tape ist, getestet?
Danach machst du freiwillig keine Backups mehr auf Tape. Für Langzeitbackup/Archiv wenn du die gesetzlichen Anforderungen hast, ist das noch üblich, aber die meisten vergessen dabei die Tape Pflege und wundern sich nach 5 Jahren warum das Tape leer ist.
Wenn mal eine VM oder Datei vor Ort gebraucht wird, dann kommt das vom lokalen PBS und beim Totalausfall werden die VMs in der Zentrale restored und die User müssen sich dann per VPN einwählen zum weiterarbeiten.
Was kostet denn ein Eisen, welches 100 VMs adäquat bedienen kann? Das brauchtst du auch mindestens 2fach. Ich habe noch mit Bladeservern gearbeitet, die zwar teuer aber hip waren und zumindest recht gut skaliert haben.
Ist natürlich ein funktionierendes, elegantes Konzept, wenn man L8 darauf vorbereitet hat bzw. er es gar nicht merkt.
Es kann dir doch jetzt kein Mensch sagen was so eine Kiste kostet und warum nicht?
Weil die Spezifikationen der VMs fehlen. 100 VMs die nur Dateien verwalten sind schon was anderes als 100 VMs die irgendwas rendern oder SQL-Datenbanken oder oder oder....
Sowas ist immer Projekt abhängig.
So einen Server kannst du für 2000€ aber auch für 100.000€ bekommen.
Kommt hat drauf an was drin ist.
Bei Tapes bekomme ich schon seit Dekaden schlechte Laune. Paradebeispiel für ach so tolle Offlinesicherung, die bei echtem Bedarf abkackt.
Letztens noch ein paar Hosts mit 1x 128 Core CPU, 1,5TB RAM und 6x 15,36 TB NVMe für Ceph kamen 27,5k€ pro Server.
Das stimmt einfach nicht. Server, die mal eben 100 VMs bedienen, kriegst du unter 5stelligen (die liegen auch nicht im niedrigen Bereich) Beträgen nicht. Die dahinter nötige, sinnvolle Infrastruktur dahinter steht noch gar nicht zu Diskussion.
Ist ja mal ein Wort. Für Ceph brauchst du dann mindestens 3Stk. Diese 100k€ verwenden viele KMU-Chefs lieber fürs Porsche-Leasing.
Wir haben hier Kunden, die i.d.R. 50-100 VMs betreiben. Diese lassen sich mit meinem Blade-2.0 Konzept wunderbar und kostengünstig administrieren. Der Nicht-Clusterbetrieb macht sich auch eher positiv bemerkbar. Wir haben ja schon festgestellt, dass wir da unterschiedliche Blickwickinkel haben.
Warum macht sich der Nicht-Clusterbetrieb positiv bemerkbar, hier fehlt es doch dann komplett an Ausfallsicherheiten, es sei denn, man hat das auf Applications ebene dann gemacht, aber dann hat man wieder doppelte Ressourcen Nutzung, verstehe ich nicht so ganz.
Für Clusterbetrieb brauchst du eine schnelle und zuverlässige Netzwerkinfrastrukur. 1GBit ist eher lächerlich und macht überhaupt keinen Spaß, wenn man vom Clusterbetrieb wirklich profitieren will.
Wenn dir da ein Node im Cluster wegbricht, ist Achterbahn. Bei zwei Ausfällen wird es noch putziger.
Empfehlung ist allgemein ein zentraler Storage. Kriegt man nicht hinterhergeworfen und verkompliziert/potenziert Probleme noch.
Hardwaredefekte kann ein Cluster eh nicht abfedern!
Betreibst du x Singlehosts, legt der Ausfall eines derselben ein paar VMs lahm. Diese hat man in kürzester Zeit auf einem anderen Host restauriert, sofern dieser vernünftig konfiguriert ist. Die Übung dauert dann vielleicht 30min.
Warum kann ein Hardwaredefekte nicht abgefedert werden?
Ich habe Setups gebaut, da kann ein Switch abrauchen oder eine Node oder auch eine Netzwerkkarte usw. danach läuft trotzdem noch alles weiter, mit minimaler Downtime.
!G im Server-Bereich kann man machen, ist dann halt so.
Ich will jetzt hier auch keine Diskussion anfangen, wollte es nur für mein Verständnis wissen.
Ich habe Setups gebaut, da kann ein Switch abrauchen oder eine Node oder auch eine Netzwerkkarte usw. danach läuft trotzdem noch alles weiter, mit minimaler Downtime.
!G im Server-Bereich kann man machen, ist dann halt so.
Ich will jetzt hier auch keine Diskussion anfangen, wollte es nur für mein Verständnis wissen.
Ein abgerauchter Switch ist ein ganz anderer Schuh. Kann in einem Cluster zwar auch schon zu unangenehmen Folgeerscheinungen führen.
Mit Mut zur Lücke, kannst du einen Clusternode ja mal hart ausschalten. Am besten wenn VMs darauf aktiv genutzt werden.
Ceph ist eben kein Raid-xyz, bei dem der Ausfall eines Mediums (hier wäre es ein Node) kaum zu bemerken ist, außer das automatische Aktivieren einer Hotswapplatte drückt die Performance.
Sobald Ceph ähnliche Fähigkeiten bietet, bin ich dabei. So ist es nur der heißeste, hingestrickte und halbgare Scheiß.
Mich würde es freuen. Ich habe hier durchaus viele potentielle Nodes mit eher "schlafenden" 4TB-SSDs am Start. Die würde ich schon gerne als "Raid per Nodes" nutzen. Ceph kann es nicht und erzeugt eher fehlerträchtigen Overhead.
Gerne lasse ich mich eines besseren belehren.
Last edited:
Anscheinend ja nicht.
Ceph ist so ein halbgares gebastel, dass Unternehmen hunderte Petabyte Daten drauf speichern. Bevor du so einen Unsinn schreibst, lese dich doch bitte vorher etwas ins Thema ein.
Cluster geht auch mega robust mit 2 Nodes und ZFS Replikation über Gigabit.
Der PBS macht dann das Quorum.
Das ist ein oft genutztes Setup bei kleinen Kunden bis 80 VMs.
Wenn man keine Ahnung von Cluster hat, macht man Fehler wodurch es unsauber läuft. Ist bei einem Windows Cluster genauso.
Bitte erst lesen, dann verstehen, am besten selbst testen und dann kannst du beurteilen ob es für dich funktioniert.
Mannomann. Ich schreibe hier von eher kleinen Umgebungen und du kommst mit dem "Argument" von Storagesystemen im Petabereich um die Ecke.
Nehmen wir mal an, es handelt sich um 3 Hosts im 1GBit-Netz. Da empfiehlst du also ein Cluster als ultima ratio?
Was passiert mit dem Konstrukt denn, wenn sich darin ein Node z.B mit dem, gerade auch hier häufiger behandelten, Intel-Netzwerkproblem befindet? Ohne Cluster schaltet man den betroffenen Node aus und wieder ein. Nach 2min ist die Kiste wieder am Start. Sollte diese nicht mehr aus dem Kreuz kommen, muss man die betroffenen VMs eben aus dem Backup auf einen verblieben Rechner ziehen. Das dauert dann 15min.
Habe ich mir die Threads im Forum mit Clusterproblemen nur eingebildet? In manchen hast du sogar deinen Senf dazu gegeben. In meinen Augen sind Lösungen, die nur von Vollprofis umgesetzt/betrieben werden können, eben bestenfalls halbgar. Stabil ist was ganz anderes.
Teile doch mal mit, welche Benefits du in kleinen Umgebungen im Clusterbetrieb siehst, die die höhere Komplexität und Kosten rechtfertig. Vor allem wie du das ohne leistungsfähigen gemeinsamen Speicher betreibst.
Mich würde auch interessieren, wie du mit einem Cluster echtes Failover realisierst. Also so, wie es ein Raid mit Hotspare-Platten macht.
Ich bin neugierig.
Nimm mal die Scheuklappen ab und komme aus dem unterkühlten RZ-Keller.
Last edited:
Ich wollte damit nur sagen, dass Ceph keine Bastellösung ist, sondern auch im ganz großen Umfeld eingesetzt wird.
1 GBit ist kein Ausschlussgrund für einen Cluster, aber dann halt mit Replikation statt Ceph.
Naja, die Intel Probleme gibts in der Regel nur mit Consumerhardware, daher im Bussinessumfeld nicht so relevant. Wenn einer stirbt, dann startet die VM halt auf den anderen Node. Dann zeig mair mal die Umgebung wo du deine VMs über Gigabit in 15 Mnuten restoren kannst.
Dann zeig mir mal so einen Thread, mir ist jetzt keiner bekannt wo es Clusterprobleme gab, wenn man sich an die Anleitung im Wiki hält.
Die Try and Error Cluster mit nur einer NIC, zählen wir mal nicht. Wenn man einen Cluster bauen möchte, sollte man wenigstens die Anleitung lesen.
Bei kleinen Clustern (2Node) kommt immer ZFS mit Replika zum Einsatz. Vorteile:
- Live Migration für Wartung möglich
- Daten redundant vorhanden
- Wenn ein Host komplett kaputt gehen sollte und du Replikation alle 1 Minute machst, hast du unter 1 Minute Datenverlust. Backups machst du garantiert nicht so häufig.
- Stirbt ein Host hast du in 2-3 Minuten deine Vms wieder am laufen.
Nachteil:
- Du musst dir halt 2 Nodes Kaufen und irgendwo ein Quorum Device besitzen.
Dito.
Es muss nicht immer ein großer Cluster sein. Ich habe auch kleine Kunden mit 15 VMs, welche froh sind, einen Cluster zu haben. Standalone Hosts habe ich nur bei kleinen Standorten meiner größeren Kunden. Da sind halt nur 10-20 Mitarbeiter betroffen wenn der ausfällt und Zentrale Services wie ERP laufen eh in der Zentrale.