PVE, PBS und gemeinsamer Speicher

[Madman1971]

Hallo zusammen!
Ersteinmal vielen Dank für die Aufnahme, ich hoffe auf regen Austausch
Ich habe mir unter HyperV eine Proxmox-Umgebung angelegt und wollte einmal nachfragen ob ich da auf dem richtigen Wege bin.
- Drei virtuelle PVEs: PVE01, PVE02, PVE03 laufen als Cluster
- Virtuelles OpenMediaVault stellt Plattenplatz zur Verfügung
- alle CTs und VMs sind auf den PVEs verteilt, liegen aber auf der NFS-Freigabe von OMV
- zusätzlich läuft noch ein PBS und macht brav Backups der CTs und VMs

Unter HA habe ich Gruppen erstellt und wenn ich eine PVE runtefahre werden die CTs und VMs auch gemäß Plan auf die beiden anderen verteilt und laufen weiter.

Bevor ich jetzt Geld in die Hand nehme und durchdrehe in dem ich mit 5 NUCs und diverse Platten bzw SSDs kaufe:
Ist die Konfiguration wie oben angegeben sinnvoll?
ECC, ZFS usw habe ich erstmal nicht berücksichtigt da es sich hier um eine private Geschichte handelt und ich das Geld ja leider nicht drucke.
Wie sind Eure Meinungen dazu?
Gruß aus Hamburg,
Matze

 

[Dunuin]

Das mit dem NFS als Shared Storage für HA finde ich schon problematisch. Fällt dir das OMV NAS aus, dann sind auch alle PVE Nodes unbrauchbar. Wenn du schon 3 oder 5 Nodes betreiben willst, dann wäre Ceph deutlich besser. Dann wäre auch dein Storage über alle Nodes verteilt und es dürften dir 1 (bei 3 Nodes) oder 2 (bei 5 Nodes) beliebige PVE Nodes ausfallen und es würde alles weiter laufen und HA/Ceph würde automatisch sowohl die Daten als auch die Gäste über die verbliebenen Nodes verteilen. Dann hast du den Single Point of Failure vom NAS Storage weg. Ceph macht aber auch erst wirklich Sinn mit ordentlichen Enterprise/Datacenter SSDs und 10+ Gbit NICs für das Ceph Storage Backend sowie einer eigenen NIC rein für die Cluster-Kommunikation (wegen niedriger Latenz für Corosync, dass dir da Lastspitzen im Netzwerk nicht die Clusterkommunikation ausbremsen und dir die Nodes wahllos rebooten). Da wird es dann mit NUCs schwierig, weil da einfach genug Disks und PCIe Karten reinpassen.

Und willst du dann noch den Single Point of Failure von einem 3 Node-Cluster-Netzwerk weghaben wären das 2x stackbare Managed Switches mit z.B. je 4x 10Gbit + 7x Gbit Ports (wie z.B. Aruba JL682A für neu je 170€), 2x 10Gbit NICs je Node (gibt es Connectx-3 mit 2 Ports gebaucht für je ca 60-120€) + 4x Gbit NICs je Node (gebrauchte Quad-Port Intel i350-T4 so 30-50€) und 7x 10Gbit DACs (so je 10-20€ gebraucht), 14x Cat 5e Ethernet Kabel (neu je <1€) und am besten noch eine USV mit USB-HID (gibt es neu für ab 50€).
Kenne mich mit Ceph nicht groß aus, aber soweit ich weiß bräuchte man genug Enterprise SSDs um 3 Kopien von allen Gästen speichern zu können sowie 33% Reserve damit die OSDs beim Ausfall eines Nodes genug Platz haben um die Daten vom Ausgefallenen Node auf die verbliebenen Nodes auslagern zu können. Also wenn du 1TB an Gästen speichern willst wären das 4,5TB an SSDs über alle 3 Nodes verteilt, also 1,5TB je Node. Enterprise SSDs wäre gebraucht so ab 125€ je 1TB oder neu so ab 170-270€ je TB.

Wäre dann schon nicht günstig, wenn man das mit dem HA richtig betreiben will, dass dir nicht doch der komplette Cluster ausflällt, weil du zu viele Single Points of Failure hast.

 

[Madman1971]

Hi Dunui und danke für Dein Feedback.
Das mit der NAS ist natürlich klar. Wenn die weg ist läuft nichts mehr. Allerdings fällt Ceph flach, denn Enterprise/Datacenter SSDs und 10+ Gbit NICs sind für meinen Einsatz einfach zu teuer.
Ich denke ich ich werde mit der NAS, RAID5 und einer USV das Beste draus machen.
Aber wenn ich das Geld hätte......*träum*