[OffTopic] Ceph mit Hetzner VMs

[XMarcR]

Hallo zusammen,

bei Hetzner sind die Cloud-VMs recht günstig und leistungsstark. Der Storage ist rasend schnell. Spiele gerade mit dem Gedanken ein paar VMs zu bestellen und als Ceph-Knoten für PVE einzurichten. Hat das schon mal jemand gemacht? Erfahrungen? Oder ist die Idee total bekloppt? Ich suche schon lange eine günstige und einfache Lösung um Ceph für einen PVE-Cluster bei Hetzner umzusetzen.

Bin auf eure Meinung gespannt

 

[Alwin]

Hm...

Du hast das Netzwerk, geschweige den die Ressourcen der VMs selbst, unter Kontrolle. Da ist es unmöglich ein stabiles Ceph cluster aufzustellen. Auch ein PVE Cluster wird nicht wirklich funktionieren, da meist Multicast geblockt wird und wie zuvor das Netzwerk nicht unter deiner Kontroller ist (keine Latenz/Bandbreiten Garantie).

Ein Ceph/PVE oder hyper-converged Cluster in einem Rechenzentrum zu betreiben, geht nur, wenn du die Hardware und das Netzwerk unter Kontrolle hast. Damit kommst du in die Liga von COLO.

 

[tom]

Wenn Ceph und Proxmox VE im Datacenter ein Thema ist, kann ich First-Colo empfehlen. Nicht am Preislevel von Hetzner, dafür funktioniert halt auch alles was man braucht. Grundsätzlich ist HA und günstig eher keine gute Mischung.

https://www.proxmox.com/en/partners/hosting-partner/item/first-colo-gmbh

 

[XMarcR]

Danke für euren Input. Jedoch geht es mir erst mal nicht um super Produktionssysteme. Ich möchte doch nur spielen und ggf. später ein paar Webserver drauf laufen lassen.
Also PVE als Cluster ist problematisch, das sehe ich ein und ist auch nicht zwingend nötig. Wenn ich den Storage von zwei PVE-Hosts aus erreichen kann ohne die Daten hin und her zu kopieren, habe ich schon viel gewonnen (export/import oder backup/restore). Die Sache mit den Failover-IPs ist ja eh nicht so der Hit.
Aber zurück zu Ceph: dort habe ich doch eigentlich keine Probleme wenn ich den Traffic der einzelnen Ceph-VMs über Wireguard leite.
Ich nutze schon lange verschiedene Hetzner-Systeme, das Netz war fast immer super schnell - meine täglichen Backups laufen meist mit 700-900Mbit/s über mehr als zwei Stunden ohne Einbrüche oder Aussetzer.

Ich frage hier nur so doof, weil ich lediglich vor ein paar Jahren mal Ceph testweise im LAN ausprobiert habe - seit dem hatte ich keine Berührungspunkte mehr damit. J

 

[Alwin]

Danke für euren Input. Jedoch geht es mir erst mal nicht um super Produktionssysteme. Ich möchte doch nur spielen und ggf. später ein paar Webserver drauf laufen lassen.

Ja genau damit fängt es ja an.

Also PVE als Cluster ist problematisch, das sehe ich ein und ist auch nicht zwingend nötig. Wenn ich den Storage von zwei PVE-Hosts aus erreichen kann ohne die Daten hin und her zu kopieren, habe ich schon viel gewonnen (export/import oder backup/restore).

Da passt besser pvesr und macht die Sache einfacher.
https://pve.proxmox.com/pve-docs/chapter-pvesr.html

Aber zurück zu Ceph: dort habe ich doch eigentlich keine Probleme wenn ich den Traffic der einzelnen Ceph-VMs über Wireguard leite.
Ich nutze schon lange verschiedene Hetzner-Systeme, das Netz war fast immer super schnell - meine täglichen Backups laufen meist mit 700-900Mbit/s über mehr als zwei Stunden ohne Einbrüche oder Aussetzer.

Bandbreite ist ja oft nicht das Problem, sondern die Latenz. Und die ist alles andere als Besonders bei Hostings in der Preisklasse.
https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/