VMs booten nicht von Ceph RDB Storage

prwio

New Member
Feb 16, 2025
1
0
1
Hallo zusammen,

ich habe ein Proxmox Cluster (v8.3.3) mit drei Nodes. Auf diesem Cluster läuft auch ein Ceph Cluster (v19.2.0). Jede Node hat eine eigene SSD, die als OSD im Cluster eingebunden ist. Und daraus habe ich einen Pool für VMs erstellt. Auf Node1 habe ich eine VM (Ubuntu 24) erstellt und gestartet. Das funktioniert auch wunderbar und ohne Probleme.
Nun wollte ich eine VM auf Node2 (auf Node3 habe ich das gleiche Problem) anlegen. Das Anlegen und die Installieren funktioniert auch. Das Starten der VM nach der Installation funktioniert allerdings nicht. Mir wird von Proxmox nur "Booting from Hard Disk..." angezeigt. Da bleibt es dann hängen. Wenn ich die VM auf Node1 migriere, startet auch VM2.

Was ich schonmal sagen kann: Der Ceph RDB Storage ist auf jeder Node eingebunden und funktioniert auch (laut Proxmox). Die Nodes können sich auch untereinander erreichen (Ping geht).

Hat jemand eine Idee, woran das liegen könnte?

Beste Grüße und schonmal vielen Dank!

Hier die Config:

Code:
[global]
    auth_client_required = cephx
    auth_cluster_required = cephx
    auth_service_required = cephx
    cluster_network = 10.3.8.2/22
    fsid = XXX
    mon_allow_pool_delete = true
    mon_host = 10.3.4.2 10.3.4.3 10.3.4.4
    ms_bind_ipv4 = true
    ms_bind_ipv6 = false
    osd_pool_default_min_size = 2
    osd_pool_default_size = 3
    public_network = 10.3.4.0/22

[client]
    keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
    keyring = /etc/pve/ceph/$cluster.$name.keyring

[mds]
    keyring = /var/lib/ceph/mds/ceph-$id/keyring

[mds.PVEC1-N1]
    host = PVEC1-N1
    mds_standby_for_name = pve

[mds.PVEC1-N2]
    host = PVEC1-N2
    mds_standby_for_name = pve

[mds.PVEC1-N3]
    host = PVEC1-N3
    mds_standby_for_name = pve

[mon.PVEC1-N1]
    public_addr = 10.3.4.2

[mon.PVEC1-N2]
    public_addr = 10.3.4.3

[mon.PVEC1-N3]
    public_addr = 10.3.4.4
 
Hi, da scheint noch etwas anderes im Argen zu sein.
Soweit müsste alles funktionieren.

Was mir Auffällt: Du hast nur eine OSD pro Node, es wird empfohlen mindestens 3 OSDs, besser 4 pro Node zu haben.
Du hast zwei sehr große Netzwerke für Ceph, zwei mal ein 22er Netz für 3 Nodes ist schon leicht verschwenderisch.
Wie ist denn das Netzwerk aufgebaut?