[SOLVED] 4 Node Cluster mit Ceph SSD tauschen

[swoop]

Hallo,

ich habe die Herausforderung, dass einige der Festplatte nahe dem Lebensende sind, laut SMART. SSD-Wareout
Jetzt habe ich die VMs auf die anderen Nodes verschoben und den Server heruntergefahren.
Dann habe ich die Festplatte umgebaut und den Server wieder gesatartet.

Gibt es einen Befehl oder so, damit die neue SSD als OSD eingelesen wird oder muss ich die OSD entfernen und neu anlegen? Denn das wäre ziemlich blöd denn ich bin mir nicht sicher ob der Speicherplatzbedarf mit 3 SSDs ausreichend ist.

SG

 

[Falk R.]

Da hast du schon mal ein Grundlegendes Problem, wenn dein Platz nicht ausreichend ist. Eine Platte kann ja auch so mal sterben.
Die Neuverteilung beginnt dann sofort und wenn eine OSD zu 90% voll ist, geht der komplette Pool auf Readonly.

Der richtige Weg ist, OSD entfernen und neue aufnehmen. In deiner Situation würde ich jetzt erst die neue aufnehmen und dann die alte entfernen. Und dann ganz schnell weitere Disks nachschieben.

 

[swoop]

Hallo,

danke für die Rückmeldung und sorry für meine Späte Antwort.

Inzwischen habe ich 3 der 4 SSD ausgetauscht. Genau so wie du geschrieben hast.
OSD entfernen
server herutnerfahren und SSD umbauen
OSD hinzufügen
und replizieren lassen.

hat wunderbar funktionert. Ich habe als genügend Speicher verfügbar gehabt. phu ;-)

Danke für deine Hilfe.

 

[ITT]

In deiner Situation würde ich jetzt erst die neue aufnehmen und dann die alte entfernen. Und dann ganz schnell weitere Disks nachschieben.

Diese Reihenfolge ist immens wichtig

 

[mow]

Kann man die nicht auch (bei runtergefahrenem Server) 1:1 auf neue klonen? Zum Einbinden nimmt der doch nur die UUIDs, die ja beim Kopieren mit dd[rescue] nicht verändert werden, oder?

 

[Falk R.]

Kann man die nicht auch (bei runtergefahrenem Server) 1:1 auf neue klonen? Zum Einbinden nimmt der doch nur die UUIDs, die ja beim Kopieren mit dd[rescue] nicht verändert werden, oder?

Das solltest du lieber nicht machen. Ceph ist dafür gemacht, auch einmal Devices zu verlieren. Bevor sich nachher irgendwo Fehler einschleichen, vertraue ich lieber dem Ceph eigenen Recovery.

 

[mow]

Das solltest du lieber nicht machen. Ceph ist dafür gemacht, auch einmal Devices zu verlieren. Bevor sich nachher irgendwo Fehler einschleichen, vertraue ich lieber dem Ceph eigenen Recovery.

Schon, aber das ist für einzelne Devices vorgesehen. Alle auf einmal zu ersetzen ist schon ein Sonderfall. Und den Pool für jede einzelne Ersetzung durch den Rebuild zu quälen belastet die SSDs unnötig, was schlecht sein könnte wenn die eh schon angezählt sind. Mal ganz davon ab, daß Dir dabei ja die Redundanz der entfernten SSD fehlt. Wenn Du die alle auf einmal extern klonst (und die alten Disks daher nicht mit Schreibzugriffen belästigst), hast Du dagegen notfalls noch den intakten alten Pool rumliegen, falls etwas so richtig schiefgeht.

 

[Falk R.]

Angezählte Disks austauschen habe ich auch schon produktiv gemacht. Wenn du alle tauschst, warum baust du nicht einen neuen Pool und migrierst rüber?

 

[mow]

Angezählte Disks austauschen habe ich auch schon produktiv gemacht. Wenn du alle tauschst, warum baust du nicht einen neuen Pool und migrierst rüber?

- zu wenig Ports um alle gleichzeitig anzuschließen
- wenn der Pool gut gefüllt ist, ist lineares Kopieren schneller als sich mit ner Million Fisseldateien abzugeben, und nutzt die SSDs nicht so viel ab weil kein Metadataoverhead
+ bei fast leerem Pool sieht das natürlich anders aus
+ beim Umkopieren auf Dateiebene wird der ganze Kram auch gleich defragmentiert

 

[Falk R.]

Es gibt keine Dateiebene, das ist der Vorteil von Ceph. Es ist ein Objektspeicher.
Wenn dann musst du linear Bitweise kopieren, kann aber trotzdem mächtig in die Hose gehen. In den Metadaten stehen die Disk-IDs. Ich weiß nicht was passiert wenn die IDs nicht mehr zu den Metadaten passen.

 

[mow]

Es gibt keine Dateiebene, das ist der Vorteil von Ceph. Es ist ein Objektspeicher.
Wenn dann musst du linear Bitweise kopieren, kann aber trotzdem mächtig in die Hose gehen. In den Metadaten stehen die Disk-IDs. Ich weiß nicht was passiert wenn die IDs nicht mehr zu den Metadaten passen.

Welche Disk-IDs? Alle im Datenbereich enthaltenen UUIDs werden bei einem dd mitkopiert, und sich auf Strings vom Gerät zu verlassen ist keine gute Idee - ich habe schon gesehen, daß Modellkennungen den Firmwarestand mit beinhalten, und es wäre ziemlich doof, wenn man sich mit nem Firmwareupdate den Pool abschießt. nvme hat zwar mit den namespaces ein Konzept, was verwendbar wäre, aber da muß man sich trotzdem fragen, ob das überhaupt einen Vorteil bringt, der die Nachteile aufwiegt.

 

[Falk R.]

Ich habe mich bei Ceph noch nicht so tief eingelesen was in den Metadaten alles drin steht.
Ich kenne das aber von anderen Storagevirtualisierungen, wo die Seriennummer der Disk in den Metadaten steht zur identifikation, falls die mal umgesteckt wird.