Search results

  1. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Komisch das dies irgendwie in Bmon nicht angezeigt wird, weil dort stand der Traffic teilweise nur auf 1.21MiB und auf der Bond2 eben auf 906MiB. Aber dann bedeutet es also, durch die Wahl der Konfiguration beschneidet man sich also selbst? Dann war das mein Denkfehler. Ich werde das mal...
  2. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Weil ich den OSD-Traffic unbeeinflusst vom Client-Traffic halten wollte. Aber ich scheine etwas nicht zu verstehen: Bei 100.000Mbits wären es doch ca 12500MB/s, oder nicht? Der Traffic passiert nun auch auf der 100Gbit Schnittstelle, das kann ich per Bmon nachvollziehen. Siehe hier: Bond2...
  3. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Ich habe jetzt in der ceph.conf das Netzwerk nochmal angepasst, da mir aufgefallen war, das dort z.B.10.255.255.50/24 statt 10.255.255.0/24 stand. Danach die Hosts alle nochmal durchgestartet, jetzt scheint die Replikation den richtigen Weg zu nehmen. Zumindest laut bmon. Ergebnis der Bandbreite...
  4. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Die lauschen sowohl im Public als auch im Cluster Network... Back Address und Heatbeat sind richtig. Allerdings wird der Traffic für geschriebene Daten von den Hosts nicht über dieses Netzwerk geleitet.
  5. H

    Ceph Storage und Public Netzwerk Traffic geht falsch

    Hallo, ich bin gerade dabei ein neues Ceph Cluster aufzusetzen, aber stelle da paar Probleme fest. Beim Benchmark fiel mir auf das die Werte weit weg von dem sind, was die Hardware eigentlich leisten sollte. Zum Setup: Drei Nodes Epyc 7543P 512Gb RAM Mellanox ConnectX6 100Gbit Broadcom P225P...
  6. H

    High Proxmox VE CPU usage from Idle VM

    We have the same Problem. It seems to be the same problem as here: https://forum.proxmox.com/threads/pve-100-cpu-on-all-kvm-while-vms-are-idle-at-0-5-cpu.138140/ The Qemu VM idles and the host shows 100% for one core.
  7. H

    Ceph und 2x ZFS Pool pro Node

    Dann wäre das ja noch voll im Rahmen. Ich glaube ich werde es einfach mal auf einen Versuch ankommen lassen.
  8. H

    Ceph und 2x ZFS Pool pro Node

    Hallo, ich habe die Suche verwendet, aber genau zu meiner Frage irgendwie keine Antwort gefunden. Könnte mir aber vorstellen das diese Frage schonmal ähnlich gestellt wurde. Nun gut, es geht um folgendes: Wir wollen unsere alten Server ersetzen. Bisher haben wir als HA-Lösung nur die Storage...
  9. H

    Ceph Netzwerk Routing

    Naja, OSPF ist ne ganze Ecke mehr. Zumal man somit wieder zusätzliche Software nachinstallieren und pflegen muss. Der hier gezeigte Weg wird hauptsächlich in der /etc/network/interfaces konfiguriert. Der zusätzliche Weg mit dem Script, sind wir auch nur gegangen, weil wir aktive Kabel verwenden...
  10. H

    Ceph Netzwerk Routing

    Zusammen mit einem Kollegen habe ich nun eine Lösung gefunden... das war ganz schön knifflig: Die Lösung aus meinem geposteten Link mit "weight" bewirkt keine Gewichtung, nachdem Motto "Wer niedriger ist, wird als priviligiert angesehen und verwendet" sondern beeinflusst den Usage. Beispiel...
  11. H

    Ceph Netzwerk Routing

    Das mag ja alles gut und schön sein, aber wenn man ein Budget bekommt und dann sollen bestimmte Anforderungen alleine beim Cluster erfüllt sein, dann bleibt zumindest in meinem Fall nicht viel übrig. Im Endeffekt hat es dann für paar ordentlich Switche nicht mehr gereicht und es wurde auch nicht...
  12. H

    Ceph Netzwerk Routing

    @SkyDiver79 und @kokel Mein Setup hat als Backbone für das Ceph-Cluster 100Gbit. Dafür gibt es derzeit keine Geräte die vertretbare Kosten für eine Anschaffung rechtfertigen würden. Eine weitere Skalierung ist nicht geplant, weil wenn man in drei Nodes soviel Leistung hat, wie man es derzeit...
  13. H

    Ceph Netzwerk Routing

    Doppelte ausgeführte Kabel und Schnittstellen treiben natürlich die Kosten hoch. Der erwähnte Fall mit der Konstellation das ein Link ausfällt und das ganze Ceph nicht mehr funktioniert, hatte ich erst vor kurzem und deshalb suche ich dringend nach einer Lösung. RSTP Loop ist leider nicht...
  14. H

    Ceph Netzwerk Routing

    Hallo, ich habe ein Problem und komme hier irgendwie nicht weiter. Vermutlich ist das Problem relativ einfach zu lösen, aber ich komme nicht drauf... sehe den Wald vermutlich vor lauter Bäumen nicht. Mein Ceph Netzwerk ist ein Routed Mesh mit 3 Nodes. Die Nodes haben folgende Adressen: Node...
  15. H

    Proxmox Ceph hohe Stddev Bandwidth

    Ich habe jetzt nochmal Routing eingebaut und der Unterschied ist wirklich verblüffend... ich wusste zwar das die Performance dort am besten ist, aber nicht das es so viel ausmacht. Ein Unterschied wie Tag und Nacht. Einzig die Sache mit der Fault-Tolerance ist ein bisschen heikel. Das kann man...
  16. H

    Proxmox Ceph hohe Stddev Bandwidth

    Ja, ich verwende Mesh-Network. Ich habe jeweils schon Broadcast und RSTP Loop gegeneinander antreten lassen. Beide haben sich nichts genommen. Der Broadcast Bond war sogar leicht besser in den Latenzen. Routing ist auf jeden Fall performanter, ohne Frage, ich muss es aber einfach halten. Da...
  17. H

    Proxmox Ceph hohe Stddev Bandwidth

    Hallo, ich bin gerade dabei ein 3-Node-Cluster mit Ceph aufzubauen und zu testen. Folgende Hardware wird verwendet: AMD Epyc 7543p 256Gb DDR4-3200 pro Node 4x Samsung PN1733 TB MZWLJ1T9HBJR (als OSD) Mellanox ConnectX-6 100Gbit Nach anfänglichen Tests mit rados bench hatte ich leicht bessere...
  18. H

    hugepages

    Bisher konnte ich das Problem immer noch nicht lösen. Das einzige was gefunden habe ist: Wenn man die VM auf der Console startet, dann wird wohl der Timeout umgangen, das die VM somit zumindest erst mal wieder starten würde. Aber so richtig performant wird das vermutlich nicht sein. Konnte das...
  19. H

    hugepages

    Kann jemand den Thread mal in den normalen Proxmox VE Forum schieben? An der Falschen Stelle den Thread geöffnet.
  20. H

    hugepages

    Hallo, ich habe folgendes Problem mit nachfolgendem Setup: Specs: 2x Xeon Silver 4208 128Gb RAM IOMMU aktiv (PCIe SSD durchgereicht an VM) VM-Specs: agent: 1,fstrim_cloned_disks=1 boot: order=scsi0;ide2;net0 cores: 4 cpu: host hostpci0: af:00,pcie=1 ide2...