Hallo zusammen,
Mein Homelab bestand aus 3 Clusternodes und lief unter Ceph.
Wie in der Upgrade Anleitung beschrieben, habe ich zuerst PM auf V.8.4.6 angehoben, dann CEPH auf Trixie und anschließend PM auf V.9.
Beim installieren kam es zu ein paar Fehlern und ich bekam nur noch eine weiße Webseite.
Also machete ich auf jedem Node nochmals ein "apt-get dist-upgrade -y"...
Es wurden nochmals einige Sachen installiert und auf den neuen Kernel hingewiesen. Nach dem reboot ging erst mal gar nichts mehr.
Bootloader konnte ich dann mittels diesem Beitrag reparieren. soweit alles gut.
Mein System startete wieder aber mein CEPH ist lt. PROXMOX Webgui weg. Sobald ich im Datacenter auf CEPH klicke, bekomme ich einen 500er. Klicke ich im Node auf CEPH, heisst es, CEPH sei nicht installiert und mir wird die Option zur Installation geboten.
folgende Infos kann ich Euch schon mal geben:
NODE-1:
ceph-volume lvm list
ceph-volume lvm activate --all
NODE-2:
ceph-volume lvm list
ceph-volume lvm activate --all
NODE-3:
ceph-volume lvm list
ceph-volume lvm activate --all
Ich gehe einmal davon aus, daß die OSD's noch in Ordnung sind.
pveceph status
pvecm status
pveceph status
apt search ceph | grep installed
pveceph install --repository no-subscription
Hat irgendwer Tipps wie ich aus dem Schlamassel wieder herauskomme ?
Danke Euch,
Gruss Mathias
Mein Homelab bestand aus 3 Clusternodes und lief unter Ceph.
Wie in der Upgrade Anleitung beschrieben, habe ich zuerst PM auf V.8.4.6 angehoben, dann CEPH auf Trixie und anschließend PM auf V.9.
Beim installieren kam es zu ein paar Fehlern und ich bekam nur noch eine weiße Webseite.
Also machete ich auf jedem Node nochmals ein "apt-get dist-upgrade -y"...
Es wurden nochmals einige Sachen installiert und auf den neuen Kernel hingewiesen. Nach dem reboot ging erst mal gar nichts mehr.
Bootloader konnte ich dann mittels diesem Beitrag reparieren. soweit alles gut.
Mein System startete wieder aber mein CEPH ist lt. PROXMOX Webgui weg. Sobald ich im Datacenter auf CEPH klicke, bekomme ich einen 500er. Klicke ich im Node auf CEPH, heisst es, CEPH sei nicht installiert und mir wird die Option zur Installation geboten.
folgende Infos kann ich Euch schon mal geben:
NODE-1:
ceph-volume lvm list
Code:
====== osd.0 =======
[block] /dev/ceph-757de783-4bf0-49bd-8620-5ca98426de51/osd-block-c908f817-89da-4f73-b58e-25a03b8a064b
block device /dev/ceph-757de783-4bf0-49bd-8620-5ca98426de51/osd-block-c908f817-89da-4f73-b58e-25a03b8a064b
block uuid 3XsAZw-XFzl-kdD9-5xQC-gpmx-suh7-mLGO6O
cephx lockbox secret
cluster fsid 4aa11746-7295-48c2-a520-325f478549e0
cluster name ceph
crush device class
encrypted 0
osd fsid c908f817-89da-4f73-b58e-25a03b8a064b
osd id 0
osdspec affinity
type block
vdo 0
devices /dev/nvme0n1
ceph-volume lvm activate --all
Code:
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph-authtool --gen-print-key
--> Activating OSD ID 0 FSID c908f817-89da-4f73-b58e-25a03b8a064b
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-757de783-4bf0-49bd-8620-5ca98426de51/osd-block-c908f817-89da-4f73-b58e-25a03b8a064b --path /var/lib/ceph/osd/ceph-0 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-757de783-4bf0-49bd-8620-5ca98426de51/osd-block-c908f817-89da-4f73-b58e-25a03b8a064b /var/lib/ceph/osd/ceph-0/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-c908f817-89da-4f73-b58e-25a03b8a064b
Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
Running command: /usr/bin/systemctl start ceph-osd@0
--> ceph-volume lvm activate successful for osd ID: 0
NODE-2:
ceph-volume lvm list
Code:
====== osd.2 =======
[block] /dev/ceph-4d0b7f69-0aa9-4da0-929e-2f6e670a2239/osd-block-212a7de4-1cfe-4829-851d-4924bc7912a6
block device /dev/ceph-4d0b7f69-0aa9-4da0-929e-2f6e670a2239/osd-block-212a7de4-1cfe-4829-851d-4924bc7912a6
block uuid 7adWF3-xUBH-CH20-HuE2-PX03-XoB1-P3CpGy
cephx lockbox secret
cluster fsid 4aa11746-7295-48c2-a520-325f478549e0
cluster name ceph
crush device class
encrypted 0
osd fsid 212a7de4-1cfe-4829-851d-4924bc7912a6
osd id 2
osdspec affinity
type block
vdo 0
devices /dev/nvme0n1
Code:
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph-authtool --gen-print-key
--> Activating OSD ID 2 FSID 212a7de4-1cfe-4829-851d-4924bc7912a6
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-4d0b7f69-0aa9-4da0-929e-2f6e670a2239/osd-block-212a7de4-1cfe-4829-851d-4924bc7912a6 --path /var/lib/ceph/osd/ceph-2 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-4d0b7f69-0aa9-4da0-929e-2f6e670a2239/osd-block-212a7de4-1cfe-4829-851d-4924bc7912a6 /var/lib/ceph/osd/ceph-2/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-2/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2
Running command: /usr/bin/systemctl enable ceph-volume@lvm-2-212a7de4-1cfe-4829-851d-4924bc7912a6
Running command: /usr/bin/systemctl enable --runtime ceph-osd@2
Running command: /usr/bin/systemctl start ceph-osd@2
--> ceph-volume lvm activate successful for osd ID: 2
NODE-3:
ceph-volume lvm list
Code:
====== osd.1 =======
[block] /dev/ceph-c7284064-afbb-4cf8-b9b9-368b1dcceb77/osd-block-51ae1400-b170-4e45-b8a8-3b667ff30ff2
block device /dev/ceph-c7284064-afbb-4cf8-b9b9-368b1dcceb77/osd-block-51ae1400-b170-4e45-b8a8-3b667ff30ff2
block uuid XgTRKG-0jeJ-aYlq-awkV-Gr2y-WCud-1MAvbf
cephx lockbox secret
cluster fsid 4aa11746-7295-48c2-a520-325f478549e0
cluster name ceph
crush device class
encrypted 0
osd fsid 51ae1400-b170-4e45-b8a8-3b667ff30ff2
osd id 1
osdspec affinity
type block
vdo 0
devices /dev/nvme0n1
ceph-volume lvm activate --all
Code:
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph-authtool --gen-print-key
--> Activating OSD ID 1 FSID 51ae1400-b170-4e45-b8a8-3b667ff30ff2
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-c7284064-afbb-4cf8-b9b9-368b1dcceb77/osd-block-51ae1400-b170-4e45-b8a8-3b667ff30ff2 --path /var/lib/ceph/osd/ceph-1 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-c7284064-afbb-4cf8-b9b9-368b1dcceb77/osd-block-51ae1400-b170-4e45-b8a8-3b667ff30ff2 /var/lib/ceph/osd/ceph-1/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-1/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1
Running command: /usr/bin/systemctl enable ceph-volume@lvm-1-51ae1400-b170-4e45-b8a8-3b667ff30ff2
Running command: /usr/bin/systemctl enable --runtime ceph-osd@1
Running command: /usr/bin/systemctl start ceph-osd@1
--> ceph-volume lvm activate successful for osd ID: 1
Ich gehe einmal davon aus, daß die OSD's noch in Ordnung sind.
pveceph status
Code:
binary not installed: /usr/bin/ceph-mon
pvecm status
Code:
CLUSTER-LAB
Config Version: 3
Transport: knet
Secure auth: on
Quorum information
------------------
Date: Fri Dec 12 12:28:47 2025
Quorum provider: corosync_votequorum
Nodes: 3
Node ID: 0x00000001
Ring ID: 1.268
Quorate: Yes
Votequorum information
----------------------
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate
Membership information
----------------------
Nodeid Votes Name
0x00000001 1 192.168.101.101 (local)
0x00000002 1 192.168.101.102
0x00000003 1 192.168.101.103
pveceph status
Code:
binary not installed: /usr/bin/ceph-mon
apt search ceph | grep installed
Code:
WARNING: apt does not have a stable CLI interface. Use with caution in scripts.
ceph-base/stable,now 19.2.3-pve2 amd64 [installed,automatic]
ceph-common/stable,now 19.2.3-pve2 amd64 [installed]
ceph-fuse/stable,now 19.2.3-pve2 amd64 [installed]
ceph-mds/stable,now 19.2.3-pve2 amd64 [installed]
ceph-osd/stable,now 19.2.3-pve2 amd64 [installed,automatic]
ceph-volume/stable,now 19.2.3-pve2 all [installed]
libcephfs2/stable,now 19.2.3-pve2 amd64 [installed]
librados2/stable,now 19.2.3-pve2 amd64 [installed]
librbd1/stable,now 19.2.3-pve2 amd64 [installed]
librgw2/stable,now 19.2.3-pve2 amd64 [installed]
python3-ceph-argparse/stable,now 19.2.3-pve2 all [installed]
python3-ceph-common/stable,now 19.2.3-pve2 all [installed]
python3-cephfs/stable,now 19.2.3-pve2 amd64 [installed]
python3-rados/stable,now 19.2.3-pve2 amd64 [installed]
python3-rbd/stable,now 19.2.3-pve2 amd64 [installed]
python3-rgw/stable,now 19.2.3-pve2 amd64 [installed]
pveceph install --repository no-subscription
Code:
HINT: The no-subscription repository is not the best choice for production setups.
Proxmox recommends using the enterprise repository with a valid subscription.
This will install Ceph 19.2 Squid - continue (y/N)? y
update available package list
start installation
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
ceph-common is already the newest version (19.2.3-pve2).
ceph-fuse is already the newest version (19.2.3-pve2).
ceph-mds is already the newest version (19.2.3-pve2).
ceph-volume is already the newest version (19.2.3-pve2).
gdisk is already the newest version (1.0.10-2).
nvme-cli is already the newest version (2.13-2).
Solving dependencies... Error!
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:
The following packages have unmet dependencies:
ceph-mgr : Depends: ceph-mgr-modules-core (= 19.2.3-pve2) but it is not going to be installed
Depends: libpython3.13 (>= 3.13.0~rc3) but it is not installable
E: Unable to correct problems, you have held broken packages.
E: The following information from --solver 3.0 may provide additional context:
Unable to satisfy dependencies. Reached two conflicting decisions:
1. python3-pecan:amd64=1.4.1-1 is not selected for install
2. python3-pecan:amd64=1.4.1-1 is selected for install because:
1. ceph:amd64=19.2.3-pve2 is selected for install
2. ceph:amd64=19.2.3-pve2 Depends ceph-mgr (= 19.2.3-pve2)
3. ceph-mgr:amd64=19.2.3-pve2 Depends ceph-mgr-modules-core (= 19.2.3-pve2)
4. ceph-mgr-modules-core:amd64 Depends python3-pecan
5. python3-pecan:amd64 is available in version 1.4.1-1
apt failed during ceph installation (25600)
Hat irgendwer Tipps wie ich aus dem Schlamassel wieder herauskomme ?
Danke Euch,
Gruss Mathias

