[SOLVED] PVE 3er Cluster mit CEPH - VMs frieren währen ein Node rebootet

Feb 14, 2019
85
2
8
Erlangen, Germany
Hallo Proxmox Freunde!
Ich bin seit der 2.x er Version mit dabei, ich betreibe selber seit dem sehr viele Proxmox Server.
Folgendes hatte ich noch nicht, und ich finde auch nichts darüber.
Kennt jemand das Phänomen, sobald ich einen Node reboote, "frieren" die VM Gäste alle ein? Es ist nicht möglich etwas anzuklicken. Ist der Node wieder oben, werden alle angeklickten Icons, Programme oder was auch immer angeklickt wurde, aufgemacht.
Es ist keine VM HA, das Ceph hat sein eigenes 10GB Netz, sowie die Nodes unter sich auch.

VG, Roman
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
5,056
336
103
Hallo,

was hast du als min_size und size im Ceph data pool?
 
Feb 14, 2019
85
2
8
Erlangen, Germany
Hallo Wolfgang!

Ich habe jeweils den Wert 2. Das hat eigentlich bisher nie Probleme gemacht.
pg und pgs sind es noch 512, bei 21 OSDs mit eigenem Journal, werde ich aber noch hochsetzen nach ein paar tests.
Ist noch alles Testumgebung, aber dennoch hab ich so etwas noch nicht gesehen.
ceph netz hat die mtu auf 9000, hier gibts performance mäßig auch nichts zu bemängeln, die Werte sind top.

Ist min_size 2 mit Verteilung 2 zu gering?

Danke und Gruß, Roman
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
5,056
336
103
Das kann nicht funktionieren.
Du verteilst auf 3 node 2 Kopien und wenn weniger als 2 kopien da sind geht er in read only mode.
wenn du jetzt einen node runter nimmst hast du garantiert von manchen pg nur eine Kopie. was die Images in read only mode setzt.
Das ist der Grund warum alle VM eingefroren sind.
Du musst bei einen 3 node cluster size 3 und min_size 2 machen. Alles andere funktioniert nicht.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!