[OffTopic] Ceph mit Hetzner VMs

Hallo zusammen,

bei Hetzner sind die Cloud-VMs recht günstig und leistungsstark. Der Storage ist rasend schnell. Spiele gerade mit dem Gedanken ein paar VMs zu bestellen und als Ceph-Knoten für PVE einzurichten. Hat das schon mal jemand gemacht? Erfahrungen? Oder ist die Idee total bekloppt? Ich suche schon lange eine günstige und einfache Lösung um Ceph für einen PVE-Cluster bei Hetzner umzusetzen.

Bin auf eure Meinung gespannt ;)
 

Alwin

Proxmox Staff Member
Staff member
Aug 1, 2017
3,902
365
88
Hm... :confused:

Du hast das Netzwerk, geschweige den die Ressourcen der VMs selbst, unter Kontrolle. Da ist es unmöglich ein stabiles Ceph cluster aufzustellen. Auch ein PVE Cluster wird nicht wirklich funktionieren, da meist Multicast geblockt wird und wie zuvor das Netzwerk nicht unter deiner Kontroller ist (keine Latenz/Bandbreiten Garantie).

Ein Ceph/PVE oder hyper-converged Cluster in einem Rechenzentrum zu betreiben, geht nur, wenn du die Hardware und das Netzwerk unter Kontrolle hast. Damit kommst du in die Liga von COLO.
 

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
14,290
537
133
Danke für euren Input. Jedoch geht es mir erst mal nicht um super Produktionssysteme. Ich möchte doch nur spielen und ggf. später ein paar Webserver drauf laufen lassen.
Also PVE als Cluster ist problematisch, das sehe ich ein und ist auch nicht zwingend nötig. Wenn ich den Storage von zwei PVE-Hosts aus erreichen kann ohne die Daten hin und her zu kopieren, habe ich schon viel gewonnen (export/import oder backup/restore). Die Sache mit den Failover-IPs ist ja eh nicht so der Hit.
Aber zurück zu Ceph: dort habe ich doch eigentlich keine Probleme wenn ich den Traffic der einzelnen Ceph-VMs über Wireguard leite.
Ich nutze schon lange verschiedene Hetzner-Systeme, das Netz war fast immer super schnell - meine täglichen Backups laufen meist mit 700-900Mbit/s über mehr als zwei Stunden ohne Einbrüche oder Aussetzer.

Ich frage hier nur so doof, weil ich lediglich vor ein paar Jahren mal Ceph testweise im LAN ausprobiert habe - seit dem hatte ich keine Berührungspunkte mehr damit. J
 

Alwin

Proxmox Staff Member
Staff member
Aug 1, 2017
3,902
365
88
Danke für euren Input. Jedoch geht es mir erst mal nicht um super Produktionssysteme. Ich möchte doch nur spielen und ggf. später ein paar Webserver drauf laufen lassen.
Ja genau damit fängt es ja an. ;)

Also PVE als Cluster ist problematisch, das sehe ich ein und ist auch nicht zwingend nötig. Wenn ich den Storage von zwei PVE-Hosts aus erreichen kann ohne die Daten hin und her zu kopieren, habe ich schon viel gewonnen (export/import oder backup/restore).
Da passt besser pvesr und macht die Sache einfacher.
https://pve.proxmox.com/pve-docs/chapter-pvesr.html

Aber zurück zu Ceph: dort habe ich doch eigentlich keine Probleme wenn ich den Traffic der einzelnen Ceph-VMs über Wireguard leite.
Ich nutze schon lange verschiedene Hetzner-Systeme, das Netz war fast immer super schnell - meine täglichen Backups laufen meist mit 700-900Mbit/s über mehr als zwei Stunden ohne Einbrüche oder Aussetzer.
Bandbreite ist ja oft nicht das Problem, sondern die Latenz. Und die ist alles andere als Besonders bei Hostings in der Preisklasse.
https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/
 
  • Like
Reactions: XMarcR

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!