alternative zu glusterfs

[r4a5a88]

Hallo Community,

wir haben eine Proxmox Cluster mit 5 Servern und unterschiedlichen Festplatten Situationen
3 haben große LVM Thin Storages
1 hat 2 große Storage
1 ist alt und hat ein großes und 2 kleine storages

wir hatten das per glusterfs geamcht und darüber festplatten geteilt das ich Vms ohne probleme auch verschieben kann.
In der neuesten Version von Proxmox wird glusterfs nicht mehr supportet .
also wollen wir wechseln.

Ein Option wäre Ceph aber Ceph ist mir zu komplex zum einrichten und es braucht den gesammten platz der Platten also, alte Vms müssten umgezogen werden.
eine weitere Option wäre Seaweedfs. Hat jemand damit gute Erfahrungen gemacht ?
was würdet ihr mir empfehlen?

 

[TErxleben]

Hallo Community,

wir haben eine Proxmox Cluster mit 5 Servern und unterschiedlichen Festplatten Situationen
3 haben große LVM Thin Storages
1 hat 2 große Storage
1 ist alt und hat ein großes und 2 kleine storages

wir hatten das per glusterfs geamcht und darüber festplatten geteilt das ich Vms ohne probleme auch verschieben kann.
In der neuesten Version von Proxmox wird glusterfs nicht mehr supportet .
also wollen wir wechseln.

Ein Option wäre Ceph aber Ceph ist mir zu komplex zum einrichten und es braucht den gesammten platz der Platten also, alte Vms müssten umgezogen werden.
eine weitere Option wäre Seaweedfs. Hat jemand damit gute Erfahrungen gemacht ?
was würdet ihr mir empfehlen?

Das ist genau das Problem mit heutigen Dateisystemen. Die verkümmern schneller als die HW stirbt. Z.Zt. würde ich in den sauren Apfel CEPH beißen, wenn ich auf Langlebigkeit setze, da ich dort die langlebigste und kontinuierlichste Entwicklung feststelle. iSCSI wirkt irgendwie klinisch tot, hält sich aber in diversen Ausprägungen hartnäckig. Alles andere erfordert Mut zur Lücke. Bei ZFS sehe ich durchaus Potential, ist aber verteilt eher rudimentär.
Wenn es dir um nativ von Proxmox unterstütze Systeme geht, ist deine Auswahl sowieso begrenzt. Da kann ich mangels Erfahrung keine Empfehlung aussprechen, da ich bei zentralem Speicher immer CEPH verwende. Selbst mit RBD als Aufsatz/Derivat von CEPH habe ich noch nicht "gespielt". Um eine Migration wirst du m.E. nicht herum kommen. Wäre aber meine kleinste Sorge.

 

[Johannes S]

Man könnte als Übergangslösung gluster als directory storage einbinden, mitteldeistig dann aber nach ceph migrieren

 

[leomax1]

Hallo Community,

wir haben eine Proxmox Cluster mit 5 Servern und unterschiedlichen Festplatten Situationen
3 haben große LVM Thin Storages
1 hat 2 große Storage
1 ist alt und hat ein großes und 2 kleine storages

wir hatten das per glusterfs geamcht und darüber festplatten geteilt das ich Vms ohne probleme auch verschieben kann.
In der neuesten Version von Proxmox wird glusterfs nicht mehr supportet .
also wollen wir wechseln.

Ein Option wäre Ceph aber Ceph ist mir zu komplex zum einrichten und es braucht den gesammten platz der Platten also, alte Vms müssten umgezogen werden.
eine weitere Option wäre Seaweedfs. Hat jemand damit gute Erfahrungen gemacht ?
was würdet ihr mir empfehlen?

Hallo,

bei einer Umgebung mit fünf Proxmox-Servern und unterschiedlich großen lokalen Storages würde ich Ceph nicht automatisch als erste Wahl sehen, wenn ihr bewusst eine möglichst einfache Lösung sucht. Der entscheidende Punkt scheint hier weniger die reine Performance zu sein, sondern die Möglichkeit, VMs zwischen den Nodes zu verschieben, ohne vorher die Storage-Struktur komplett vereinheitlichen zu müssen.

SeaweedFS würde ich vor einer produktiven Migration zunächst in einer Testumgebung prüfen. Gerade bei VM-Images würde ich mir anschauen, wie sich Migrationen, Ausfälle eines Nodes, Rebuilds und gleichzeitige Zugriffe verhalten.

Eine weitere Frage wäre, ob ihr wirklich ein verteiltes Storage-System benötigt oder ob eine zentrale Storage-Lösung mit mehreren Proxmox-Nodes ausreichen würde. Das könnte die Architektur deutlich vereinfachen.

Ich würde deshalb zuerst definieren, welche Anforderungen GlusterFS bei euch tatsächlich erfüllt hat: Shared Storage für Live Migration, Ausfallsicherheit, Performance oder einfach die Möglichkeit, die vorhandenen Storages gemeinsam zu nutzen. Danach lässt sich viel besser entscheiden, ob Ceph, SeaweedFS oder eine andere Lösung sinnvoll ist.

Besonders interessant wäre, ob jemand SeaweedFS bereits mit Proxmox in einer ähnlichen Umgebung mit unterschiedlich großen lokalen Storages produktiv betreibt.