Search results

Very interesting - we run into similar issues: Only one nodes shows same problems with disk latency which rises compared to other nodes, but Disk I/O is low ( it seems after a kernel upgrade, but earlier kernel was also 6.8 ) All nodes are NVMe and SATA SSD only, no hard disk. The problematic...

Also latency is much lower with 10G than 1G - keep that in mind ( because of 3 writes, commits etc ).

I can also confirm, since this change - no more CRC sig Erros in the logs with KRBD.

Hi there, looks like "Artemis" is up-to-date because is it the latest node added, with the latest version. Update both other nodes ( package update ). Restart your monitor nodes, one by one on the 2 "older" nodes. Restart all MDS if you run CephFS), one by one. Restart your OSDs one by one

Ok - crimson looks like a very good reason, should give a good boost to nvme-only ceph-clusters. Gimme gimme gimme :)

Are there any special features in terms of performance or else, compared to 18.2.x ?

Ja ok, mal abwarten, ein Häkchen in der GUI würd ja auch schon reichen. Wir werden es auf jeden Fall auch die Tage testen.

Sieht aus als hätten wir hier die Lösung: https://forum.proxmox.com/threads/feature-request-ability-to-enable-rxbounce-option-in-ceph-rbd-storage-for-windows-vms.155741/

What is a fast PBS in your words? NVMe / SSD only storage with sufficient bandwidth eg. 40G / 25G / 100G ?

this depends on your hardware / infrastructure. What kind of storage, what kind of nics / switches etc.

Also zfs und QVO ist überhaupt keine gute Kombination, da ist I/O Delay bzw. Wait vorprogrammiert.

Ja ok, ihr habt ja afaik immer die xxxxF CPUs für eure HCI-Cluster.

Ich hatte schon die Hoffnung, wenn wir jetzt eine neues / weiteres Cluster in Betrieb nehmen, direkt mit KRBD, kommen die Fehler nicht mehr :( Welchen Genoa Typ nehmt ihr so für HCI Cluster?

Doch, für Falks Bsp mit den Special Devices und ZFS sehr wohl - sollte doch bekannt sein, warum man keine Consumer SSDs mit zfs betreiben sollte. Und ein Teil der Daten liegt ( in Falks Bsp mit special dev ) sehr wohl auf den SSDs, und war die Meta-Daten. Wenn die weg sind, kannste den Pool auch...

Na, das Modell von Hetzner ( dein Screenshot ) mit den 2x 512GB SSDs hat auch keine enterprise / datacenter SSDs, da muss man schon zu ner 480GB Version greifen, oder nach datacenter SSD filtern. Just sayin' ;-)

Nachtrag zum Thema - wieder zurück und KRBD deaktiviert, alle VMs migriert oder stop start. Keine Fehlermeldungen mehr auf den Hosts. Daran liegt / lag es wohl nicht. Woran ist nur die Frage.. da mit KRBD doch ne bessere Performance zu erwarten ist.

Das Cluster ist von Sommer 2021 Ja - das Cluster besteht aus EPYCs, hauptsächlich Rome, auch Milan.

Das ist erst aufgetreten nach der Umstellung auf KRBD.

Interessanter Ansatz - tatsächlich sind auf den Hosts und den Switches die Error 0. ECC Ram, sollte also irgendeine Meldung im "dmesg" kommen, oder? Müsste dann jeden Hosts mal rausnehmen und einen memtest fahren ( Aufwendig ). Aber: diese crc / Signature Meldungen kommen nur wenn ein Backup...

[Sun Jun 30 12:28:03 2024] libceph: osd18 (1)x.x.y.5:6802 bad crc/signature [Sun Jun 30 12:28:03 2024] libceph: osd2 (1)x.x.y.3:6801 bad crc/signature [Sun Jun 30 12:28:03 2024] libceph: osd16 (1)x.x.y.3:6811 bad crc/signature [Sun Jun 30 12:28:03 2024] libceph: read_partial_message...