[SOLVED] PVE 3er Cluster mit CEPH - VMs frieren währen ein Node rebootet

[Romsch]

Hallo Proxmox Freunde!
Ich bin seit der 2.x er Version mit dabei, ich betreibe selber seit dem sehr viele Proxmox Server.
Folgendes hatte ich noch nicht, und ich finde auch nichts darüber.
Kennt jemand das Phänomen, sobald ich einen Node reboote, "frieren" die VM Gäste alle ein? Es ist nicht möglich etwas anzuklicken. Ist der Node wieder oben, werden alle angeklickten Icons, Programme oder was auch immer angeklickt wurde, aufgemacht.
Es ist keine VM HA, das Ceph hat sein eigenes 10GB Netz, sowie die Nodes unter sich auch.

VG, Roman

 

[wolfgang]

Hallo,

was hast du als min_size und size im Ceph data pool?

 

[Romsch]

Hallo Wolfgang!

Ich habe jeweils den Wert 2. Das hat eigentlich bisher nie Probleme gemacht.
pg und pgs sind es noch 512, bei 21 OSDs mit eigenem Journal, werde ich aber noch hochsetzen nach ein paar tests.
Ist noch alles Testumgebung, aber dennoch hab ich so etwas noch nicht gesehen.
ceph netz hat die mtu auf 9000, hier gibts performance mäßig auch nichts zu bemängeln, die Werte sind top.

Ist min_size 2 mit Verteilung 2 zu gering?

Danke und Gruß, Roman

 

[wolfgang]

Das kann nicht funktionieren.
Du verteilst auf 3 node 2 Kopien und wenn weniger als 2 kopien da sind geht er in read only mode.
wenn du jetzt einen node runter nimmst hast du garantiert von manchen pg nur eine Kopie. was die Images in read only mode setzt.
Das ist der Grund warum alle VM eingefroren sind.
Du musst bei einen 3 node cluster size 3 und min_size 2 machen. Alles andere funktioniert nicht.

 

[Romsch]

Hallo Wolfgang,
danke. Habe mittlerweile noch einen Pool 3/2 angelegt. Gibt es hier mit pveceph Mitteln den Pool zu kopieren, oder gehe ich nach Ceph anleitung vor? https://ceph.com/geen-categorie/ceph-pool-migration/
In der Vergangenheit hat eine zweifach Verteilung, funktioniert - aber du hast recht - es waren auch fünf node Cluster, da hat man es natürlich nicht gemerkt.. Danke!

Gruß, Roman

 

[wolfgang]

Ich würde es mit den ceph tools erhöhen.
http://docs.ceph.com/docs/master/rados/operations/pools/#set-pool-values

 

[Romsch]

Danke Wolfgang, das geht natürlich schneller.. Danke!