[SOLVED] PVE 3er Cluster mit CEPH - VMs frieren währen ein Node rebootet

Romsch

Well-Known Member
Feb 14, 2019
99
9
48
Erlangen, Germany
Hallo Proxmox Freunde!
Ich bin seit der 2.x er Version mit dabei, ich betreibe selber seit dem sehr viele Proxmox Server.
Folgendes hatte ich noch nicht, und ich finde auch nichts darüber.
Kennt jemand das Phänomen, sobald ich einen Node reboote, "frieren" die VM Gäste alle ein? Es ist nicht möglich etwas anzuklicken. Ist der Node wieder oben, werden alle angeklickten Icons, Programme oder was auch immer angeklickt wurde, aufgemacht.
Es ist keine VM HA, das Ceph hat sein eigenes 10GB Netz, sowie die Nodes unter sich auch.

VG, Roman
 
Hallo,

was hast du als min_size und size im Ceph data pool?
 
Hallo Wolfgang!

Ich habe jeweils den Wert 2. Das hat eigentlich bisher nie Probleme gemacht.
pg und pgs sind es noch 512, bei 21 OSDs mit eigenem Journal, werde ich aber noch hochsetzen nach ein paar tests.
Ist noch alles Testumgebung, aber dennoch hab ich so etwas noch nicht gesehen.
ceph netz hat die mtu auf 9000, hier gibts performance mäßig auch nichts zu bemängeln, die Werte sind top.

Ist min_size 2 mit Verteilung 2 zu gering?

Danke und Gruß, Roman
 
Das kann nicht funktionieren.
Du verteilst auf 3 node 2 Kopien und wenn weniger als 2 kopien da sind geht er in read only mode.
wenn du jetzt einen node runter nimmst hast du garantiert von manchen pg nur eine Kopie. was die Images in read only mode setzt.
Das ist der Grund warum alle VM eingefroren sind.
Du musst bei einen 3 node cluster size 3 und min_size 2 machen. Alles andere funktioniert nicht.
 
Hallo Wolfgang,
danke. Habe mittlerweile noch einen Pool 3/2 angelegt. Gibt es hier mit pveceph Mitteln den Pool zu kopieren, oder gehe ich nach Ceph anleitung vor? https://ceph.com/geen-categorie/ceph-pool-migration/
In der Vergangenheit hat eine zweifach Verteilung, funktioniert - aber du hast recht - es waren auch fünf node Cluster, da hat man es natürlich nicht gemerkt.. Danke!

Gruß, Roman
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!