ceph upgrade von hammer zu jewel

Tiemo

New Member
Sep 23, 2016
13
0
1
Hallo zusammen,

ich habe (hatte) einen 3 Node Test-Cluster mit einem Ceph Pool (3 monitore und 28 osds) Version Hammer.
Ich habe hier im Forum schon von einem erfolgreichen Update zu Jewel gelesen und es dann auch mal versucht.
Die Repo geändert und apt-get update && apt-get upgrade und dann noch apt-get dist-upgrade.
Die Installation von Jewel lief ohne Fehlermeldung durch.

Allerdings startet mein Ceph-Cluster nun nicht mehr, die Monitore sind down.
Im Log steht nichts drin.

Hinweise habe ich schon gefunden das etwas mit den Startscripten eventuell nicht stimmt.

Hat schom jemand "Ceph Jewel" mit Proxmox am laufen?

Danke und viele Grüße
TD
 
Last edited:
So jetzt laufen die Monitore bzw. der Ceph-Cluster wieder.
Ein nochmaliges installieren hat es scheinbar gebracht und zwar so:
apt-get install ceph-deploy
ceph-deploy install --release jewel host

Das Nachfolgende ist auch noch nötig, es hatte vorher ohne die obigen Ausführungen nichts gebracht, ist aber laut Hinweisen im Internet die Ursache bzw. der Workaround.
systemctl enable ceph-mon@4
systemctl start ceph-mon@4
chown -R ceph:ceph /var/lib/ceph

Ein "systemctl list-unit-files | grep ceph"
zeigte es
ceph-mon@.service war disabled und
"systemctl list-dependencies ceph.target"
zeigte keinen Eintrag.

Es waren noch ein paar OSDs down, bei einem Host alle.
Teilweise erfolgte kein Mount bei den OSDs und beim mounten kommt:
"can't read superblock"
bei denen welche sich mounten liesen hat ein Start ( systemctl start ceph-osd@23) zuerst nicht funktioniert,
gerade eben habe ich sie nochmal gestartet und es hat funktioniert.
Das lag wohl an "chown -R ceph:ceph /var/lib/ceph" was ich über Nacht habe laufen lassen!
Ein Hinweis, alle Test-Daten (ca. 11 TB) sind da, kein Datenverlust.

Dann gab es noch ein Hinweis im Log:
crush map has legacy tunables (require bobtail, min is firefly)
Der Befehl:
ceph osd crush tunables optimal
hat geholfen, Ergebnis:
adjusted tunables profile to optimal

Jetzt sind noch 3 OSDs down, bei jedem Host eins, welche sich nicht mounten ("can't read superblock") lassen.
Hat hier vielleicht jemand ein Tipp?
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!