Ceph got Timeout (500)

[Tobiasp]

Guten Tag, ich habe hier drei Proxmox Server im Cluster. Auf einem (pve-03) habe ich Ceph installiert, das läuft auch so weit. Wenn ich in der GUI auf einer der anderen Nodes gehe, wird nach kurzem Ladesymbol Timeout (500) angezeigt. Die Ceph Config war auf den beiden Nodes (pve-02 und pve-1) leer. Die Config von pve-03 habe ich übertragen, das hat aber keine Besserung gebracht.

Pve-01 - 192.168.12.15 (WebUI) - Ceph Netzwerk: 187.139.72.217/29
Pve-02 - 192.168.12.16 (WebUI) - Ceph Netzwerk: 187.139.72.218/29
Pve-03 192.168.12.17 (WebUI) - Ceph Netzwerk: 187.139.72.219/29

Die Nodes sind über das Ceph Netzwerk direkt verbunden und auch untereinander Pingbar. Die MTU liegt bei 9198. Woran könnte das liegen?

Ceph Config:

[global]
        auth_client_required = cephx
        auth_cluster_required = cephx
        auth_service_required = cephx
        cluster_network = 187.139.72.219/29
        fsid = 5ee77d73-b836-43f7-9198-053d39c5fbfd
        mon_allow_pool_delete = true
        mon_host =  187.139.72.219
        ms_bind_ipv4 = true
        ms_bind_ipv6 = false
        osd_pool_default_min_size = 2
        osd_pool_default_size = 3
        public_network = 187.139.72.219/29

[client]
        keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
        keyring = /etc/pve/ceph/$cluster.$name.keyring

[mon.pve-03]
        public_addr = 187.139.72.219

root@pve-02:~# pveversion -v
proxmox-ve: 8.3.0 (running kernel: 6.8.12-9-pve)
pve-manager: 8.3.5 (running version: 8.3.5/dac3aa88bac3f300)
proxmox-kernel-helper: 8.1.1
proxmox-kernel-6.8: 6.8.12-9
proxmox-kernel-6.8.12-9-pve-signed: 6.8.12-9
proxmox-kernel-6.8.12-4-pve-signed: 6.8.12-4
ceph: 19.2.1-pve3
ceph-fuse: 19.2.1-pve3
corosync: 3.1.9-pve1
criu: 3.17.1-2+deb12u1
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx11
ksm-control-daemon: 1.5-1
libjs-extjs: 7.0.0-5
libknet1: 1.30-pve2
libproxmox-acme-perl: 1.6.0
libproxmox-backup-qemu0: 1.5.1
libproxmox-rs-perl: 0.3.5
libpve-access-control: 8.2.1
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.1.0
libpve-cluster-perl: 8.1.0
libpve-common-perl: 8.3.1
libpve-guest-common-perl: 5.2.1
libpve-http-server-perl: 5.2.1
libpve-network-perl: 0.10.1
libpve-rs-perl: 0.9.3
libpve-storage-perl: 8.3.6
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.6.0-2
proxmox-backup-client: 3.3.7-1
proxmox-backup-file-restore: 3.3.7-1
proxmox-firewall: 0.7.0
proxmox-kernel-helper: 8.1.1
proxmox-mail-forward: 0.3.1
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.7
proxmox-widget-toolkit: 4.3.9
pve-cluster: 8.1.0
pve-container: 5.2.6
pve-docs: 8.3.2
pve-edk2-firmware: 4.2025.02-3
pve-esxi-import-tools: 0.7.2
pve-firewall: 5.1.1
pve-firmware: 3.15-3
pve-ha-manager: 4.0.7
pve-i18n: 3.4.1
pve-qemu-kvm: 9.2.0-5
pve-xtermjs: 5.5.0-2
qemu-server: 8.3.11
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.7-pve2

root@pve-02:~# systemctl status ceph.target
● ceph.target - ceph target allowing to start/stop all ceph*@.service instances at once
     Loaded: loaded (/lib/systemd/system/ceph.target; enabled; preset: enabled)
     Active: active since Wed 2025-04-09 13:27:06 CEST; 22min ago

Apr 09 13:27:06 pve-02 systemd[1]: Reached target ceph.target - ceph target allowing to start/stop all ceph*@.servic>
lines 1-5/5 (END)

root@pve-02:~# pvecm status
Cluster information
-------------------
Name:             Cluster-1
Config Version:   3
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Wed Apr  9 13:51:18 2025
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000002
Ring ID:          1.b8
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2 
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 192.168.12.15
0x00000002          1 192.168.12.16 (local)
0x00000003          1 192.168.12.17
root@pve-02:~#

 

[Falk R.]

Warum nutzt du öffentliche IPs für dein Ceph Netzwerk?
Wieso musst du eine Konfiguration kopieren? Da ist doch schon beim Einrichten etwas grundlegend schief gelaufen.
Setze mal die MTU auf 9000, mehr ist nirgendwo Supportet.