Recent content by lucentwolf

  1. L

    Ceph Setup stuck / "got timeout"

    ...all right - that is super embarassing - the sfp+ module for ceph public network was not entierly plugged in -> network connectivity missing ...
  2. L

    Ceph Setup stuck / "got timeout"

    Hi All ...has anyone an idea what I could do if ceph setup got stuck like this: the result after this is that on the particular node ceph is not available; e.g. ceph -s gets a timeout... what I tried is a "apt remove --purge ceph" -> this will bring back the "install ceph" button in the...
  3. L

    Warning "Cannot migrate conntrack state, target node is lacking support."

    hi @all I am seeing this very same message on one of our clusters when trying to migrate a vm as a non-root-user. Wild guess: Could that be a permission issue? setup: - 3-node cluster, all nodes run pve 9.1.2 / qemu-server: 9.1.1 - ceph w/ 2 ssds per node (3/2-pool) - no network settings...
  4. L

    [SOLVED] ceph tot > desaster recovery

    ...die 13 PGs habe ich online bekommen, indem ich die beiden blockierenden OSD's des ausgefallenen Knotens n05 als 'lost' markiert habe. Nach einigen Stunden waren dann alle PGs 'active+clean' & ausnahmslos alle VMs und CTs ließen sich starten... NULL Datenverlust; keine Restores nötig ^^ :cool:
  5. L

    [SOLVED] ceph tot > desaster recovery

    Hallo Falk - vielen Dank für diese Tips & deine Mithilfe hier im Thread!
  6. L

    [SOLVED] ceph tot > desaster recovery

    Aaron, see my smile :) ...ceph ist fleißig bei der Arbeit
  7. L

    [SOLVED] ceph tot > desaster recovery

    rocksdb: IO error... [EDIT] nb: auf einem anderen, gesunden ceph cluster bekomme ich dieselbe Meldung... [EDIT2] ...musste den ceph-mon@.n03 daemon erst stoppen... dann ging's
  8. L

    [SOLVED] ceph tot > desaster recovery

    Hallo Aaron ...vielen Dank für die Hinweise & Links - leider gibt ceph mon getmap -o /tmp/monmap ein timeout :-( [EDIT] sry - eben gesehen ich muss mit Variante B verfahren - wie du erwähnt hast ^^
  9. L

    [SOLVED] ceph tot > desaster recovery

    Der ceph-mgr daemon läuft: Der ceph-mon daemon läuft: dennoch läuft pveceph sowie das proxmox-UI ins Timeout- zB beim Versuch neue Monitore und/oder Manager zu kreieren :-( Vermutlich weil auf /var/run/ceph/ nur ein ceph-mon socket läuft (kein ceph-mgr socket);
  10. L

    [SOLVED] ceph tot > desaster recovery

    ...und: Knoten n05 ist tot - die Sys-SSD hat sich verabschiedet (das war wohl auch die urpsrüngliche Ursache der Misere). Damit ist n03 der einzige verbliebene mon :-/
  11. L

    [SOLVED] ceph tot > desaster recovery

    Hallo Falk & alle Folgendes update kann ich geben: ich konnte den keyring für die nicht startenden ceph-mgr erstellen: touch /var/lib/ceph/mgr/ceph-n03/keyring ceph-authtool /var/lib/ceph/mgr/ceph-n03/keyring --gen-key -n mgr.n03 ...und somit läuft auf allen Knoten jetzt ein ceph-mgr-daemon...
  12. L

    [SOLVED] ceph tot > desaster recovery

    ...wobei die Situation vor dem Reboot ident war :-/ ...wenn damit zB ein ceph-mgr@n02 gemeint ist - ja läuft laut systemctl status... Und dennoch sehe ich im GUI keine Manager angeführt :-(
  13. L

    [SOLVED] ceph tot > desaster recovery

    ...interessanterweise läuft ja (bis auf n03 und n05) ceph-mgr@n..: Das hinzufügen eines Monitors oder Managers funktioniert nicht (Timeout) - auch auf der Console läuft zB ein **ceph -s** ebenfalls timeout
  14. L

    [SOLVED] ceph tot > desaster recovery

    Hallo Zusammen Vielleicht kann mir jemand helfen; mein ceph ist tot & ich kann ihn nicht wiederbeleben :-( Der betroffene Cluster hat 7 Knoten 2 OSDs je Knoten (1 x HDD, 1 x SSD) 4 Pools: cephfs, hdd-only mit erasure, hdd-only mit 3/2, ssd-only mit 3/2 3 ceph-mon auf n01 n03 n05 (wobei n01...
  15. L

    Replace dead node that had ceph services running

    All right -> apt-dist-upgraded all nodes (including the replacement node) -> added the replacement node to the cluster, installed ceph, wiped (the old) ceph osd disks -> created new osd's -> it's remapping and backfilling -> all looks fine 8-) again, aaron: tx a lot!!!