Search results

  1. H

    Server hat sich aufgehangen, hilfe bei Diagnose

    Das Scheint eine USV zu sein die per USB am Server hängt. Vermutlich wird da auch eine Software drauf laufen und durch dieses Neustarten wohlmöglich einfachen einen Shutdown erzwungen haben. Unter "BR700ELCD" finde ich auf jeden Fall ein Modell von CyberPower.
  2. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Diese Möglichkeiten habe ich gar nicht in meinem BIOS. Supermicro mit Epyc dritte Generation. Ist das ein neuer Epyc? Edit: Scheint nur bei HP mit IST zu geben.
  3. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Ich habe auch nochmal die Benchmarks aus dem Proxmox Paper durchgeführt: Im Lesen bin ich gleich auf, würde ich sagen oder sogar besser. im Schreiben scheint die Kioxia, auch laut Datenblatt, überlegen. Die hat bisschen mehr Bandbreite und dafür aber beim Schreiben fast doppelt soviele...
  4. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Vielen Dank. Ich habe die Tests mal genauso durchgeführt: Ich würde sagen die Ergebnisse sind plausibel. Bei @sb-jw sind durch mehr OSDs und Nodes eine bessere Lastverteilung.
  5. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Es ist bei uns gar nicht so einfach da tatsächlich den zu erwartenden Bedarf zu ermitteln. Das Cluster ist im Prinzip zwar geplant anhand spezifischer Kritierien und für eine Laufzeit 7 Jahren. Aber ob da nun mit einem Mal 1Tb oder innerhalb von 2 Jahren nur 500Gb dazukommen, kann man nicht...
  6. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Mal als Beispiel, damit ich das richtig verstehe: 3 Pools alle um die 2Tb. Pool1 1.0 Pool2 0.6 Pool3 0.4 Also würde folgenddessen Pool1 priorisiert behandelt und somit die bessere Performance erhalten? Kann man das so sehen?
  7. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Also wenn ich das mit target_ratio und target_size richtig verstanden habe, ist das entweder oder Entscheidung, richtig? Also entweder setze ich die zu erwartenden Größe des Pools in MB als target_size oder ich setze ein relatives Verhältnis zu mehreren Pools mit target_ratio. Beides setzen...
  8. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Nach welchen Gesichtspunkten stellt man denn ratio und sizes ein? Gibt es da irgendeine Richtlinie oder Hilfe? Wie soll man das herausfinden? Autoscaler und Balancer ist aktiv. 128PG hatte er eingestellt und ich würde fast behaupten das jedes Mal wenn er auf 32 gegangen ist, die Performance...
  9. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Teilweise birgt so ein Reboot wahre Wunder. Jetzt blieb das Ergebnis wiederholgenau. osd_memory_target habe ich auf 8Gb angehoben und konnte nochmal etwas rausholen. Ich werde jetzt nochmal mit fio testen innerhalb einer VM.
  10. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Kannst du mir mal deine Parameter für fio mitteilen? Dann würde ich das ebenfalls nochmal ausprobieren. Im Endeffekt ist so ein Benchmark nicht wirklich aussagekräftig weil er den wirklichen Workload nicht darstellt. Das ist ja nur sequentielles und plumpes Schreiben und Lesen. Es dient aber...
  11. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Wenn ich jeden einzelnen Node nochmal reboote und nichts verändere, erhalte ich danach diese Werte: Das sind Werte die ich von dieser Hardware erwarte. Warum ich aber mit Laufzeit des Systems keine wiederholgenauen Ergebnisse erhalte, ist mir schleierhaft. Entweder schaltet sich hier eine...
  12. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    osd_target_memory auf 6Gb angepasst. Aber läuft immer noch nicht wiederholgenau. Ungewöhnlich auch teilweise beim rados bench gesehen, das nichts übertragen wird...
  13. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Ich habe jetzt mal alles so umgesetzt, wie es von euch empfohlen wurde, die Performance war anfangs wieder unterirdisch... mit teilweise sowas hier: Total time run: 100.611 Total writes made: 41330 Write size: 4194304 Object size: 4194304 Bandwidth (MB/sec)...
  14. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Um nochmal auf den Artikel zurückzukommen und IOMMU... habe ich das richtig verstanden das man das deaktivieren soll? Habe in Erinnerung das dies immer eher eine Empfehlung zur besseren Performance war.
  15. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Da liegst du falsch. Selbst die Cisco Catalyst brauchen einen reload, was ein Neustart ist. Siehe: https://www.cisco.com/c/en/us/support/docs/switches/catalyst-6000-series-switches/24048-148.html Das selbe gilt für Ruckus...
  16. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Ich habe ein Stack aus zwei Ruckus ICX7850-48F. Die Werte mit 100Gbit hauen haargenau hin, wie ich es erwarten würde. Mal als Beispiel: Ich würde mich auch nicht als blutigen Anfänger bezeichnen. Das mit dem Split von Public und Cluster Network ist tatsächlich eine Premiere, da es so noch...
  17. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Adaptive-tx/rx mochte er überhaupt nicht. Habe ich wieder rausgeschmissen. Die Ergebnisse blieben dennoch schlecht. Dann nach einer halben Stunde nochmal getestet, plötzlich wieder solche Ergebnisse hier: Total time run: 100.031 Total writes made: 93002 Write size...
  18. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Es wird immer schlechter: Ansonsten ist noch tuned installiert mit Profile network-latency Und auch: cpupower idle-set -D 11 cpupower frequency-set -g performance Alles so Standard-Sachen. Damit sollten eigentlich ohne Probleme 1000IOPS möglich sein. Ich habe hier schon etliche...
  19. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Ok. Es ist wieder völlig eigenartig. Ich habe jetzt zwei VLANs auf dem 100Gbit Netzwerk und anfangs waren die ersten Benchmarks sehr vielverprechend, nach einigen Optimierungen hatte ich so annährend zufriedenstellende Ergebnisse. Average IOPS lagen bei 1200 und Bandbreite im Schreiben bei knapp...
  20. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Oh Gott. Tatsächlich. Völlig überlesen. Dann ist alles klar. Aber nochmal eine andere Sache: Wie macht man das bei Ceph generell, wenn ich mich nach dieser Grafik hier richte... https://docs.ceph.com/en/quincy/_images/ditaa-3bf285dacff79a5fe5eea8dd9ca2bd41baa26061.png ...und ich habe schon...

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!