Mehrere Cluster in einem Netz (gelöst)

Discussion in 'Proxmox VE (Deutsch)' started by pixelpeter, Nov 9, 2018.

  1. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Hallo,


    Ist das erlaubt oder gibt es da Probleme.
    Aktuell haben wir zwei Produktive Cluster und ein Testcluster im selben Netz. Jeweils drei Nodes.
    Wenn wir am Testcluster zwei Nodes runterfahren verlieren auch die produktiven ihr Quorum.

    Peter
     
  2. Stoiko Ivanov

    Stoiko Ivanov Proxmox Staff Member
    Staff Member

    Joined:
    May 2, 2018
    Messages:
    304
    Likes Received:
    18
    Ist erlaubt - siehe unsere Referenzdoku: https://pve.proxmox.com/pve-docs/chapter-pvecm.html (multiple cluster in same network)

    Die logs (corosync primaer, aber potentiell auch jene vom Switch) sollten Anhaltspunkte geben, warum die anderen Cluster auch das Quorum verlieren.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  3. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Hallo Stoiko,

    Auf den produktiven Clustern steht im Syslog massig:

    Nov 9 09:55:52 sv-c-vdz3 corosync[3579]: notice [TOTEM ] Retransmit List: 15a056 15a057 15a058 15a059 15a05a 15a05b
    Nov 9 09:55:52 sv-c-vdz3 corosync[3579]: [TOTEM ] Retransmit List: 15a056 15a057 15a058 15a059 15a05a 15a05b
    Nov 9 09:55:52 sv-c-vdz3 corosync[3579]: notice [TOTEM ] Retransmit List: 15a056 15a057 15a058 15a059 15a05a 15a05b
    Nov 9 09:55:52 sv-c-vdz3 corosync[3579]: [TOTEM ] Retransmit List: 15a056 15a057 15a058 15a059 15a05a 15a05b

    Nach dem Start der beiden Nodes im Testcluster passt wieder alles.
    Ich denke da stimmt etwas an unsren Switchen nicht.


    Peter
     
  4. Stoiko Ivanov

    Stoiko Ivanov Proxmox Staff Member
    Staff Member

    Joined:
    May 2, 2018
    Messages:
    304
    Likes Received:
    18
    Hm - potentiell sieht es so aus, als wuerde Multicast nicht mehr funktionieren, wenn 2 nodes weg sind - muessen es 2 bestimmte sein?
    Die Cluster haben unterschiedliche namen?
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  5. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Ja die Cluster haben verschiedene Namen.
    Ob es zwei bestimmte sind kann ich im Moment nicht sagen.
    Wie kann aber durch das wegfallen eines oder mehrerer Nodes Multicast im gesamten Netz nicht mehr funktionieren?
    Wir hatten nach einem Netzwerkumbau schon einmal das selbe Problem.
    Wir mussten alle Nodes herunterfahren und nach dem hochfahren der beiden produktiven Cluster bekamen diese kein Quorum.
    Ewig gesucht bist es irgendwann wieder ging. Scheinbar war das der Moment wo jemand den Testcluster hochgefahren hat.


    Peter
     
  6. Stoiko Ivanov

    Stoiko Ivanov Proxmox Staff Member
    Staff Member

    Joined:
    May 2, 2018
    Messages:
    304
    Likes Received:
    18
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  7. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Hallo Stoiko,

    OMPing geht dann auch nicht mehr.
    Ich könnte alle Cluster auf Unicast umstellen.
    Was sind da die Nachteile?

    Vielen Dank für Deine Hilfe.

    Peter
     
  8. Stoiko Ivanov

    Stoiko Ivanov Proxmox Staff Member
    Staff Member

    Joined:
    May 2, 2018
    Messages:
    304
    Likes Received:
    18
    Bei unicast geht deutlich mehr traffic über das Clusternetzwerk (jede node muss für jede andere node im cluster ein Paket schicken, anstatt nur eines, welches dann am switch gemultiplext wird) - sprich es skaliert nicht so gut.

    Ich wuerde mir mal den switch naeher ansehen - vielleicht passt da was nicht mit der multicast Konfiguration - der wiki-artikel [0] könnte hierbei hilfreich sein.

    [0] https://pve.proxmox.com/wiki/Multicast_notes
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  9. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Hallo Stoiko,

    Problem ist gelöst. Es lag an dem fehlenden IGMP Querier auf unseren Nexus Switchen.

    Peter
     
  10. Stoiko Ivanov

    Stoiko Ivanov Proxmox Staff Member
    Staff Member

    Joined:
    May 2, 2018
    Messages:
    304
    Likes Received:
    18
    Hallo Peter,

    Freut zu hören! War vielleicht der querier auf einer der bridges im Testcluster aktiv?

    Falls Du magst - markier doch den Thread als "Solved"
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  11. pixelpeter

    pixelpeter Member
    Proxmox VE Subscriber

    Joined:
    Aug 5, 2015
    Messages:
    121
    Likes Received:
    0
    Hallo Stokoi,

    In der Tat war auf einer Brücke der querier aktiv.

    Peter
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice