Tausch aller OSDs

thoe

Member
Feb 1, 2018
63
7
13
48
Hallo alle zusammen,

wir haben noch einen Proxmoxcluster PVE5.4 mit Ceph Luminous.
In den nächsten Wochen wollen wir alle HDD-OSDs nacheinander gegen SSDs tauschen.

Bevor ich hier etwas zerlege... gibt es einen Workaround oder eine Dokumentation zum Tausch von OSDs.?
Vermutlich ist es über die GUI am einfachsten. Wäre das die korrekte Reihenfolge?
  1. OSD markieren
  2. OSD stoppen
  3. OSD auf out setzen
  4. OSD entfernen
  5. herrausnehmen HDD gegen SSD tauschen
  6. create OSD
Muss man noch etwas beachten? Wartezeiten rebalance etc. Wir haben vor alles im laufenden Betrieb zu machen, da es sich um unseren Produktivcluster handelt.
Was ganau macht/bewirkt noout ?

Über Hilfe bzw. Erfahrungsmeldungen würde ich mich sehr freuen.

Gruß und stressfreie Restwoche

thoe
 

wigor

Member
Dec 5, 2019
40
5
8
Hallo Thoe,

wenn man genügend Zeit und Platzreserve hat, ist das eine stressfreie Vorgehensweise. Ungefähr so wie Du beschrieben hast.

Wir machen:
1. OSD auf out setzen. Nicht auf Stop.
Dann organisiert (rebalance) sich der Ceph Cluster neu. (Geht nur bei genügend freier Kapazität). Wenn Du die OSD stoppst, kann sie beim rebalance nicht helfen, das ist nicht so schön.
2. wenn rebalance durch ist, dann hat die OSD keine pg mehr aktiv. Dann kann man die per GUI stoppen und löschen (destroy).
3. im System rausnehmen (je nach System hot-plug)
4. neue Disk rein
5. OSD erstellen.
6. warten bis rebalanced

Das ganze erzeugt jedesmal (Schritt 1 und Schritt 5) ein rebalancing. Je nach Anzahl OSDs und Nodes und Füllgrad kann das vielleicht auch keine gute Lösung sein.
Wir haben hier knapp 40 OSDs auf 4 nodes, bei 60% Füllgrad. Da kann eine fehlende OSD locker auf die anderen verteilt werden.

Zusammengefasst: Also wir machen das im Prinzip nach Deiner Idee, nur das wir die OSD erst out setzen und erst nach Rebalancing stoppen.

Grüße
Viel Erfolg
 
Last edited:
  • Like
Reactions: thoe and aaron

thoe

Member
Feb 1, 2018
63
7
13
48
Hi @wigor,

ahh OK, na das Rebalance wollen wir dem Cluster ja gönnen. :)
Wir haben auch noch genug Platz. 3.12T von 10.3T erst belegt.

Vielen Dank für den Tipp.

thoe
 

thoe

Member
Feb 1, 2018
63
7
13
48
*D*A*N*K*E*

wir haben jetzt alle OSDs von HDD auf SSD getauscht.
Alles lief absolut smooth durch und ich will hier und jetzt einfach mal DANKE sagen.
An die User hier, die einem helfen sowie auch und vor allem an das gesamte Proxmox-Team.

Hut ab vor eurer Arbeit.

Gruß thoe
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!