Proxmox Cluster und Bonding

[konabi]

Hallo,
ich möchte einen Proxmox Cluster bestehend aus 3 Nodes und Ceph als verteiltes Dateisystem aufbauen.
Für den Stornage möchte ich 2 Netzwerkkarten bündeln.
Außerdem möchte ich zwei Switche für Fehlertoleranz verwenden. Netzwerkkarte 1 mit Switch 1 verbunden, Netzwerkkarte 2 mit Switch 2 verbunden.
Ich verwende zwei managbare Switche vom Typ "TP-Link T2600G-28TS"

LACP kann ich wohl bei dieser Konfiguration nicht nutzen, da ich ja Ports auf zwei verschiedenen Switchen verwende. Also müsste ich auf ballance-rr, ballance-xor ausweichen. Bei diesen beiden Bonding Modis muß wohl auch auf der Switch nix weiter eingestellt werden.

Bei ballance-xor hatte ich das problem dass auch beim kopieren von großen Dateien parrallel auf zwei verschiedene Nodes immer nur ein port verwendet wurde.

Bei ballanve-rr wurde die Traffic auf beide Ports verteilt, aber die Geschwindigkeit war nicht zufriedenstellend.
Welche Erfahrung habt Ihr?

Vielen Dank für Eure Hilfe.

Sven

 

[fireon]

LACP oder acitve-backup. Alles andere funktioniert nicht zufriedenstellend. Du brauchst auf jeden Fall mind. 2 Netze. Eins zur Clusterkommunikation und eins für die VMs. Und bitte diese zwecks Multicast PHY trennen. Der TP-Link T2600G-28TS ist nur Gigabit. Ceph benötigt aber das brauchbar funktioniert mind. 10Gbit. Ausserdem essentiell ist ein SSD Cache. Siehe auch https://pve.proxmox.com/wiki/Ceph_Server

 

[konabi]

Danke für die schnelle Antwort.
Ziel war natürlich zwei 1GB Netzwerkkarten für Lastenausgleich und Fehlertoleranz zusammenzuschließen.
Active-backup bietet leider nur Fehlertoleranz.
Dann müsste ich LACP nutzen, kann dann aber nu eine Switch nutzen da die TP-Link nicht stackable ist.
Ansonsten habe ich 2 getrennte netze eins für Storage und eins für die VMs. Auch sind SSDs als Journal für die OSDs geplant.

Grüße
Sven

 

[fireon]

Ja das wird so schon gehen, aber von den 10GB würde ich nicht runtersteigen. Jeder der einmal Ceph mit nur Gigabit betrieben hat hats bereut. Das Teil tut dann super langsam. Na gut, kommt natürlich auf die Datenmengen an. Aber das musst im Endeffekt selbst entscheiden. Ich würds nie tun. Habs oben nicht ganz verständlich geschrieben. 3 Netze natürlich. 1x Clusterkommunikation Gigabit, 1x VMs produktiv Gigabit, 1x Ceph 10Gbit. Die Clusterkommunikation sollte definiv PHY getrennt sein eben zwecks Multicast. Der Rest kann auch über VLANs gehen, also falls 10Gbit fähiger starker VLANswitch.

Und du brauchst (kann mich noch erinnern) kein Bonding machen was den Cluster angeht. Hier einfach mehrere Netzwerkkarten und Ringadressen verwenden. Die Dienste steuern das selbst.

pvecm help add

Für Ceph selbst weis ich das jetzt nicht genau. Event. kann das hier wer nachreichen.