[SOLVED] Ceph und corosync über das selbe Netzwerk

Discussion in 'Proxmox VE (Deutsch)' started by shibumi, Apr 9, 2018.

Tags:
  1. shibumi

    shibumi Member

    Joined:
    Apr 6, 2018
    Messages:
    33
    Likes Received:
    0
    Hallo,
    Macht es Sinn ceph und corosync über das selbe Netzwerk zu betreiben? Im moment läuft corosync bzw die multicasts über 10.0.0.0/16. Mein aktueller Plan war es auch ceph darüber laufen zu lassen. Ist das so in Ordnung oder sollte man Ceph in ein eigenes Netzwerk packen. Hat da jemand Erfahrung?
     
  2. Alwin

    Alwin Proxmox Staff Member
    Staff Member

    Joined:
    Aug 1, 2017
    Messages:
    1,571
    Likes Received:
    138
    Das ist ein grosses "NO NO", corosync wie ceph sind Latenz sensibel. Corosync braucht eine stabile, niedrige Latenz um den Token im Kreis zu schicken und rechtzeitig wieder zu bekommen (< 4ms). Ceph hat nicht nur gerne eine niedrige Latenz (eg. Kommunikation mit den MONs), sondern braucht auch gut Bandbreite (je nach Anwendung), speziell dann wenn das Cluster in einem "degraded state" ist und ein Recovery läuft. Damit würden sich die beiden in die Quere kommen und das Cluster instabil machen (bei aktiviertem HA sogar die Nodes rebooten).

    Einfach gesagt, lass corosync und ceph auf zwei physisch getrennten Netzwerken laufen.
     
    fireon likes this.
  3. shibumi

    shibumi Member

    Joined:
    Apr 6, 2018
    Messages:
    33
    Likes Received:
    0
    Alwin, was ist aber wenn ich nur 2 physisch getrennte Netzwerke habe? Über das eine läuft corosync und über das andere Ceph? wäre das sinnvoll? Ich will auch noch NFS shares anziehen.. und vielleicht noch VXLAN dazwischen spannen.. also viel overhead. Ich war am überlegen ob ich corosync redundant auslege und sogar auf beide Netzwerke lege und dann auf einem Ceph und NFS shares etc mache.. macht das Sinn?
     
  4. Alwin

    Alwin Proxmox Staff Member
    Staff Member

    Joined:
    Aug 1, 2017
    Messages:
    1,571
    Likes Received:
    138
    Wie schon ob gesagt, für ein stabiles Cluster, kann ich nur raten, trenne Storage vom Cluster und Client Netzwerk.
     
  5. shibumi

    shibumi Member

    Joined:
    Apr 6, 2018
    Messages:
    33
    Likes Received:
    0
    Danke, dann lege ich mal Ceph auf das eine interface und corosync auf das andere.
     
  6. fips

    fips Member

    Joined:
    May 5, 2014
    Messages:
    122
    Likes Received:
    5
    Hallo, ich will keinen extra Thread für meine Frage aufmachen die ähnlich ist:

    zZ ist meine Cluster Kommunikation in einem durch VLAN getrennten Gigabit Netzwerk.
    Ceph bzw. Storage (für Backups) ist in einem komplett physisch getrennten 10G Netzwerk.

    Da ich noch Platz auf den 10G Switches habe wollte ich die Cluster Kommunikation, natürlich in einem eigenen VLAN, auch dorthin verlegen.

    Meine Wunsch wäre, dass Migrationen zwischen den Servern damit schneller wäre.

    Ist das sinnvoll oder ist der Performancegewinn den Aufwand nicht wert?
     
  7. shibumi

    shibumi Member

    Joined:
    Apr 6, 2018
    Messages:
    33
    Likes Received:
    0
    fips die gängige Meinung ist glaube ich, dass man die cluster kommunikation lieber auf physisch getrennte Netzwerke legt. Also ich würde an deiner Stelle dass getrennt lassen oder die Cluster Kommunikation redundant auslegen. Also auf die 10G Netzwerke legen und und auf das alte Netz.
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice