Tatsächlich ist auch das mit heißer Nadel und ohne viel Erfahrung (mittels ChatGPT) in die Wege geleitet worden, d.h. es gibt aktuell 1x richtigen Proxmox Host (Node1) mit echter Serverhardware und zusätzlich eine Workstation (Node3/Witness) mit durchgereichter GPU für On-Prem KI-Modelle, die ebenfalls Proxmox nutzt und im späteren Setup einerseits als dritte Node3&Witness genutzt werden soll.
Im Moment müssen hierzu erstmal die VMs vom aktuellen HyperV HV migriert werden, damit dieser dann hierauf als zweiter Proxmox Node in Betrieb genommen werden kann, das gesetzte Ziel ist es zusammen mit Ceph zu nutzen, wobei hierzu meine praktische Erfahrung aus meinen Homelab nicht reicht (nur zwei Nodes + RPI als QDevice) um zu bewerten ob in so einer Konstellation Proxmox Ceph überhaupt realisierbar und sinnvoll ist, da sich zumindest die Workstation massgeblich von den anderen beiden Server unterscheidet und mein bisheriger Wissenstand hierzu,der war, dass Proxmox mit Ceph es voraussetzen würde.
Meiner Recherche nach wären das bestenfalls drei völlig identische Knoten (Serverhardware), möglichst (all-)Flashspeicher und min. 10GE-Netzwerk mit getrennten Schnittstellen für Ceph-Kommunikation und Management, wobei das für die stellvertretend genutzte Workstation nicht der Fall ist und Ceph mit zwei Knoten + Witness, wenn ich das noch richtig in Erinnerung habe, nicht möglich oder nicht zielführend ist.
Leider ist das Projekt nicht aus meiner Feder und wie viele andere ITler kennen, mit möglichst minimalem Budget ausgestattet, weswegen auch sowas wie ein kleiner 10GE Switch für die Kommunikation untereinander noch diskutiert werden muss.
Letztlich kann ich zwar darauf hinweisen aber als jemand der noch in der Probezeit ist, ist es natürlich schwierig offen zu sagen, das Teile der Planung auf ChatGPT-Halluzinationen basieren (z.B. Proxmox 9.1.2= Bullseye Paketquellen hinzufügen) und so nicht umsetzbar sind.
Ich schätze dann das folgende Aussage hier aus dem Forum zutreffend ist und sich ein zwei Knoten Ceph-Cluster mit Witness im Zweifelsfall sehr unvorteilhaft für die Datenintegrität und Uptime auswirken kann? ^^
With Replica 2 you are putting your data at great risk. Replica 2 is basically like a RAID 1, as long as both nodes are running everything is fine. If a node is currently offline for maintenance, everything is still good, but beware the other node has a problem. If even one disk breaks, your data is irretrievably destroyed.
In this setup, CEPH can only handle the failure of one disk. However, the other node must also be available and the cluster must be healthy. That's why you usually take replica 3 and have three nodes, then one can be offline for maintenance and one of them can have a...
Vielen Dank für deine Rückmeldung, das hilft mir sehr
#wissenschwamm
