[SOLVED] Ceph Timeout

[Fisk]

Hallo Proxmox Admins,

es ist mal wieder ein Problem auf meinem Proxmox Testcluster aufgetaucht und leider keine Lösungen im Forum gefunden.
Und zwar hat das Ceph das über zwei Server läuft seit neustem einen Timeout und ich bekomme es auch nicht mehr funktionsfähig. Habt ihr eine Idee?

ceph status und pvecephstatus geben beide Fehler aus:


Im GUI hat der Ceph Pool auf beiden Servern einen unbekannten Status:


Besten Dank im Voraus

 

[itNGO]

Keyring-Datei gelöscht/verloren für das CEPH-Storage?

 

[Fisk]

Hm, eigentlich nicht. Unter /etc/pve/priv/ sind die keyrings noch vorhanden

 

[tom]

Ceph das über zwei Server

Ceph benötigt mindestens 3 Server, um stabil zu laufen.

 

[itNGO]

Ceph benötigt mindestens 3 Server, um stabil zu laufen.

Allerdings müssen ja nicht alle 3 Sever OSDs haben..... frage an den TO.... wie viele Server sind im Cluster?

 

[tom]

Allerdings müssen ja nicht alle 3 Sever OSDs haben..... frage an den TO.... wie viele Server sind im Cluster?

Eigentlich schon. 3 Server (also 3 Kopien der Daten) sind nötig. Drei Monitore sowieso.

Natürlich kann man es auch anderst laufen lassen, davon kann ich - und die grosse Mehrheit der Ceph Community - aber nur abraten.

 

[itNGO]

Eigentlich schon. 3 Server (also 3 Kopien der Daten) sind nötig. Drei Monitore sowieso.

Natürlich kann man es auch anderst laufen lassen, davon kann ich - und die grosse Mehrheit der Ceph Community - aber nur abraten.

Ich widerspreche ja dem Staff nur äusserst ungern.... aber hier laufen 3-Node-Ceph mit 3 Monitoren und nur 2 Maschinen mit OSDs im 4-Wege-Mirror großartig.... Es sind also zu jeder Zeit mindestens 2 Kopien da, und ich kann einen beliebigen Node booten....

Dafür ist die Crush-Map ja da, um solche Konstellationen zu erstellen oder?

 

[Fisk]

Moin, danke für die Antworten
Ich habe mittlerweile den Grund gefunden. Ein Kollege hatte zu Testzwecken die PVE Firewall aktiviert und diese hat standardmäßig die Ceph Kommunikation geblockt. Einfach die Firewall Regeln dazu angelegt und sofort war der Ceph Pool wieder aktiv.

 

[fabian]

Ich widerspreche ja dem Staff nur äusserst ungern.... aber hier laufen 3-Node-Ceph mit 3 Monitoren und nur 2 Maschinen mit OSDs im 4-Wege-Mirror großartig.... Es sind also zu jeder Zeit mindestens 2 Kopien da, und ich kann einen beliebigen Node booten....

Dafür ist die Crush-Map ja da, um solche Konstellationen zu erstellen oder?

das grund problem hier (egal ob mit 2/1 oder 4/2 und custom crush map die dafuer sorgt das 2 OSDs pro node je eine kopie haben) ist dass du damit wenn ein (OSD) node ausgeschaltet wird zwangslaeufig die ab dem zeitpunkt geschriebenen daten nur auf einem node (oder vielleicht sogar - im falle von 2/1 - nur auf einer OSD) landen. wenn dir dieser SPOF nun ausfaellt, hast du zwangslaeufig datenverlust. daher 3/2 mit failure domain host als mindeststandard fuer ceph als empfehlung.

 

[itNGO]

das grund problem hier (egal ob mit 2/1 oder 4/2 und custom crush map die dafuer sorgt das 2 OSDs pro node je eine kopie haben) ist dass du damit wenn ein (OSD) node ausgeschaltet wird zwangslaeufig die ab dem zeitpunkt geschriebenen daten nur auf einem node (oder vielleicht sogar - im falle von 2/1 - nur auf einer OSD) landen. wenn dir dieser SPOF nun ausfaellt, hast du zwangslaeufig datenverlust. daher 3/2 mit failure domain host als mindeststandard fuer ceph als empfehlung.

Ja, es ist ein kalkuliertes Risiko... natürlich..... und ich verstehe daher auch die Empfehlung.

 

[fabian]

ja. ganz viel von dem was ceph "toll" macht faellt dann halt weg (stichwort auto-healing bei ausfall von nodes/osds). ist ja bei 3-node clustern oft schon knapp (daher auch mit mehr nodes besser, weil sich die notwendige "ausfalls" kapazitaet die vorgehalten werden muss dann ja auch besser verteilt). mal ganz abgesehen davon dass sich natuerlich auch die last in die breite besser verteilen laesst