PVE-Cluster auf LACP umstellen

[ramba.zamba]

Hallo. Mein Cluster hat aktuell 4 Knoten (irgendwann 5). Jede Maschine hat eine Dual 25G NIC und hängt an einem Mikrotik Switch. Über dessen VLAN 4001 läuft bspw. der PVE Cluster-Traffic. Die interfaces dazu sieht wie folgt aus:

auto cluster
iface cluster inet static
address 192.168.10.1/24
bridge-ports enp1s0f1np1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 9000

auto cluster.4001
iface cluster.4001 inet static
address 10.10.10.1/24

Ich möchte jetzt den Switch redundant auslegen und würde daher den zweiten Anschluss der Dual NIC nutzen (mir ist klar, dass der für sich auch ein Ausfallrisiko ist, aber es geht jetzt erstmal nur um den Switch selbst). Jeder Knoten geht also mit jeweils einem LAN-Kabel an den Switch und die Switches werden untereinander ebenfalls mit 2 Kabeln verbunden. Ich würde auf den Switches ein Bond/LACP (MLAG) einrichten für die Verbindung untereinander.

Nun geht es an die Hosts. Der ganze Umbau muss im Live-Betrieb erfolgen und da habe ich etwas bammel davor. Was konkret muss ich auf den PVE-Hosts machen? Wäre es im einfachsten Fall:

• "cluster"-Interface entfernen
• dafür dann ein bond-Device mit den beiden Ports der Dual 25G NIC anlegen
• VLAN auf das bond hängen?

Gibt es irgendwelche Schritte, die ich dabei beachten muss (Corosync, Ceph-Cluster... das läuft alles über den 25G Link, weil nix anderes da ist)?

 

[Bu66as]

Dein Plan passt, aber die Bridge musst du nicht wegwerfen. cluster und cluster.4001 bleiben genau wie sie sind, du legst nur ein Bond an und tauschst bridge-ports enp1s0f1np1 gegen bond0. Also bond-slaves enp1s0f0np0 enp1s0f1np1, bond-mode 802.3ad, bond-miimon 100, bond-xmit-hash-policy layer3+4 (bei Ceph mit wenigen Peers verteilt layer2+3 fast nix) und MTU 9000 auch aufs Bond selbst, nicht nur auf die Bridge. IPs und Interface-Namen ändern sich nicht, Corosync und Ceph kriegen davon nichts mit.

Was mir beim Live-Umbau mehr Kopfzerbrechen macht als das Bond: läuft Corosync bei dir wirklich nur über diesen einen Link? Falls ja, würde ich vorher einen zweiten Ring aufs Mgmt-Netz legen (link1 in der corosync.conf, Nodes einzeln, pvecm status danach prüfen). Kostet nix und du hast beim Umbau ein Netz das nicht wegbricht. Dann Node für Node: HA-Gäste weg bzw. HA-Ressourcen kurz auf ignored, ceph osd set noout, umbauen, Node wieder rein, health_ok abwarten, erst dann der nächste. Mit 4 Nodes verkraftest du einen weg, zwei gleichzeitig nicht.

Zwei praktische Sachen noch: mach das über IPMI oder Konsole, nicht per SSH auf den Link den du gerade änderst. ifreload -a verschluckt sich bei Bond-Umbauten gern mal. Ein sauberer Reboot nach der Änderung ist da ehrlicher als Rumfummeln am laufenden ifupdown2. Und den LACP-Trunk am Mikrotik pro Host erst aktivieren, wenn der Host-Bond wirklich steht, sonst hast du kurzzeitig einen halb konfigurierten Bond auf beiden Seiten und das geht schief.

 

[ramba.zamba]

Vielen Dank, klingt sehr sauber. Danke auch an den "noout"-Hinweis, daran hätte ich nicht gedacht.