Search results

  1. Ingo S

    Bug? Ceph Pool Größe variiert je nach Füllstand

    :D :P Ich finds ja gut. So sieht man auch mal, wie andere damit umgehen. Da kann man nur lernen. Hmm jaein... Ich würde mir das so vorstellen: Der Pool zeigt den gesamten Speicherplatz aller beteiligten OSDs als RAW Value an. Z.B. 100TB Wenn ich dann 2 Pools habe, geht halt vom verfügbaren...
  2. Ingo S

    Bug? Ceph Pool Größe variiert je nach Füllstand

    Uff, mehr Diskussion als ich erwartet hatte :p:D Also wir nutzen schon seit vielen Jahren Ceph als Storage backend und ich muss sagen, dass mir dieses Verhalten vorher noch nie aufgefallen war. Ich persönlich finde es am konsistentesten wenn die Größe des Pools einfach der Summe des...
  3. Ingo S

    Bug? Ceph Pool Größe variiert je nach Füllstand

    Hallo zusammen Ich habe unseren SSD Pool ein wenig aufgeräumt und dabei ist mir aufgefallen, dass die Gesamtgröße des Pools variiert, je nachdem wie voll der Pool ist. Wie kann das sein? Die Datenträger haben doch eine fixe Größe unabhängig davon wie viele Daten gespeichert sind. In älteren...
  4. Ingo S

    Poor write performance on ceph backed virtual disks.

    I confused something. We had an incident where the OS disk of a Server died. This was, when the VMs were down and we got them up on another node in 10min. When a DB/WAL SSD died, the VMs were not down, but we needed to shut down the Server to replace the NVME Drive, so we live migrated the VMs.
  5. Ingo S

    Poor write performance on ceph backed virtual disks.

    While we had our fair share of Problems with Ceph in the past, mostly due to inexperience, what would bite us? I mean in terms of storing our data reliably und running consistently? That's a valid point. Good thing is, our new cluster isn't set in stone yet. It's probably a good idea, to assess...
  6. Ingo S

    Poor write performance on ceph backed virtual disks.

    Yeah, true, that can happen. We run a 2/3 replica on a 6 Node Cluster and we had one node come down with a failed DB/WAL disc. But frankly, that was really not much of a deal. We moved all affected VMs to another node. After 10min we had all affected VMs running again, after 1 day of rebalance...
  7. Ingo S

    Poor write performance on ceph backed virtual disks.

    That's absolutely a valid strategy. Most of the Data that's idle is SMB Shares with files for daily work. So it's not totally idle, just not used very much, but still used. Lots of that is documents and invoices in our document management system and financial accounting. There is not much of a...
  8. Ingo S

    Poor write performance on ceph backed virtual disks.

    Sadly, thats not possible. We need about 15-20TB Storage, so around 45-60TB RAW. Much of that is very idle data. But IF some of that has to move, these speeds are really not great. Our databases and other high io stuff like web pages, applications etc. already are on SAS SSDs. Space there is...
  9. Ingo S

    Poor write performance on ceph backed virtual disks.

    So, i did a little digging. Ceph and its various services/tools have such a ton of features, settings, values and metrics, that it is really hard to get into it, if you are not a specially trained professional, e.g. just a "normal" IT Gui to manage a small to medium sized Cluster. I found some...
  10. Ingo S

    Poor write performance on ceph backed virtual disks.

    That balance time is just... I need to clear one Server at a time, destroy the OSDs, reduce to three per node, then create new OSDs with the properly sized DB/WAL. Clearing a Server is about 20h. Backfill starts with about 400-500MB/s and reduces over time to a crawl. All of this while the...
  11. Ingo S

    Poor write performance on ceph backed virtual disks.

    Yeah i can totally see that. I just did some maths on our cluster and yeah we need to resize down to 2-3OSDs per Server to get away with our 375GB DB/WAL SSDs. Luckily we can shrink it down that much. I just started moving EVERYTHING around and reconfiguring the OSDs. This will take about 1-2...
  12. Ingo S

    Poor write performance on ceph backed virtual disks.

    Oh man... this is great news. I just checked ceph daemon osd.x perf dump and yeah, I guess we are using too small WAL/DB as well. The slow bytes part is this one here? "bluefs": { "db_total_bytes": 62495121408, "db_used_bytes": 5754585088, "wal_total_bytes": 0...
  13. Ingo S

    Ceph Backfill immer nur 1 aktiv

    Danke erstmal Ich habe mit dem Query etwas rum gespielt, aber wirklich schlauer bin ich daraus nicht geworden. Wenn ich nach recovery gucke finde ich nichts besonderes: Und wenn ich nach blocked suche springt mir auch nichts ins Auge. Wir haben mit dem Ceph schon einiges erlebt, aber noch nie...
  14. Ingo S

    Ceph Backfill immer nur 1 aktiv

    Die Ratios sind so: root@vm-1:~# ceph osd dump | grep ratio full_ratio 0.95 backfillfull_ratio 0.9 nearfull_ratio 0.85 Das wiederum sagt: root@vm-1:~# ceph df --- RAW STORAGE --- CLASS SIZE AVAIL USED RAW USED %RAW USED hdd 88 TiB 51 TiB 38 TiB 38 TiB 42.73 ssd 20...
  15. Ingo S

    Ceph Backfill immer nur 1 aktiv

    Die SSD ist absichtlich out, die soll den Node wechseln. Die habe ich bereits leer geräumt und liegt bei mir auf dem Schreibtisch. Der Cluster war vor dem Einbau der neuen SSD healthy.
  16. Ingo S

    Ceph Backfill immer nur 1 aktiv

    Hallo zusammen Wir haben in unserem Ceph Cluster einen SSD Pool, den ich gerade erweitere, weil er langsam zu voll wird. Ich habe eine zusätzliche SSD eingesetzt und warte jetzt auf den Backfill. Interessanterweise ist aber immer nur ein einziger Backfill aktiv, egal auf was ich "osd max...
  17. Ingo S

    ceph warning post upgrade to v8

    Thank you all for your efforts in investigating this Problem. I ran into this problem too and after reading this thread I'm not entirely sure if I can safely disable the offending module (restful in this case) Is it used just for the dashboard, or did I break something else by disabling it? :eek:
  18. Ingo S

    [SOLVED] LSI 9400 8i funktioniert nicht

    Spannenderweise funktioniert es jetzt. Leider bin ich nicht 100% sicher, was ich getan habe. Firmware Update durchgeführt Um das Firmware Update durchzuführen habe ich das Instant Flash Tool aus dem UEFI Setup ausgeführt. Das Board hatte aber die komische Anwandlung, wenn man es eingeschaltet...
  19. Ingo S

    [SOLVED] LSI 9400 8i funktioniert nicht

    Hmm das klingt nach einem ähnlichen Problem. Allerdings mit anderer Kernel Meldung und ich habe eben den alten PVE Kernel 5.15 probiert, auch damit habe ich kein Glück. Außerdem habe ich noch festgestellt, das mein PC mpt3sas Version 43.100... verwendet, während pve die mpt3sas Version 40.100...
  20. Ingo S

    [SOLVED] LSI 9400 8i funktioniert nicht

    Das habe ich heut Morgen direkt mal getestet, leider ohne Erfolg. Ich bin jetzt aber noch über folgende Meldungen des Treibers mpt3sas beim booten gestolpert und ich bin ziemlich sicher, dass die was damit zu tun haben. Das ist nämlich das letzte Mal, das der Kernel mit dem mpt3sas Treiber...

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!