BestPractice - Netzwerkonfiguration

[DocMorris]

Hallo zusammen,

ich bin gerade mit einem Testaufbau für ein Proxmox-Cluster beschäftig und würde gerne die bestehenden Möglichkeiten testen.
Hardware für mein Test Projekt:
3x Dell Server DL360e mit 3x 146GB SAS + 3x 300GB SAS, 4x GBit NIC
Konfiguration wie folgt:
3x 146GB = RAID1 mit HS für das System
3x 300GB = RAID5 für die VM's als ceph/zfs

Gibt es irgendwo ein "BestPractice" wie ich die Netzwerkkarten für das Management, HA, VM's, Storage am "sinnvollsten" konfiguriere?
Quasi:
LACP Channel aus allen 4 NIC's und dann via bridge / vlans für Management, HA, VM's und Storage aufteilen???

Oder gibt es andere bessere Vorschläge?

Gruß
Doc

 

[Ingo S]

Du hast hier ja drei Dienste:
1.) Usernetz für Zugriff auf Dienste der VM und die GUI von PVE
2.) Corosync -> Cluster Kommunikation
3.) Ceph -> Storage Cluster Datentransfer und Kommunikation

Wenn du Ceph einsetzt, möchtest du auf gar keinen Fall den Traffic von Ceph auf der Leitung für Corosync haben. Sollte Ceph einen rebalance machen weil ne Platte ausgefallen ist und mächtig Zeug hin und her schieben, bricht dir Corosync zusammen und dein Cluster kriegt Probleme.

Corosync sollte daher ein eigenes komplett getrenntes Netz bekommen. Das MUSS nicht zwingend redundant sein. Dein Cluster stirbt nicht, wenn die Kommunikation mal kurz unterbrochen ist. Du kannst nur auf den Nodes die kein Quorum haben keine Maschinen verändern, starten oder herunterfahren. Sobald die Kommunikation wiederhergestellt ist, geht der Cluster wieder in den Normalzustand.

Falls noch ein Onboard NIC verfügbar ist, kannst du diesen auch verwenden um Corosync redundant zu machen. Viel Bandbreite brauchst du nicht dafür..

Mein Vorschlag wäre, da du ja auch "nur" 1GBit für Ceph zur Verfügung hast, folgender:

1. NIC -> Usernetz für VMs und GUI
2. NIC -> Corosync (ggf. einen Onboard NIC als zweites dazu nehmen)
3.+4. NIC -> LACP für Ceph

 

[DocMorris]

Du hast hier ja drei Dienste:
1.) Usernetz für Zugriff auf Dienste der VM und die GUI von PVE
2.) Corosync -> Cluster Kommunikation
3.) Ceph -> Storage Cluster Datentransfer und Kommunikation

...

Mein Vorschlag wäre, da du ja auch "nur" 1GBit für Ceph zur Verfügung hast, folgender:

1. NIC -> Usernetz für VMs und GUI
2. NIC -> Corosync (ggf. einen Onboard NIC als zweites dazu nehmen)
3.+4. NIC -> LACP für Ceph

Vielen Dank schon mal ...
Dann werd ich das mal so konfigurieren.
Wie gesagt, das ist alles erstmal ein Testaufbau .. wenns dann Produktiv geht, kommen 10GBit Interface zum Einsatz, damit da auch was drüber geht.

Wie ist das eigentlich wenn ich VM's zwischen den Knoten verschiebe ...über welches Netz wird das gehandhabt?

 

[Ingo S]

Das kannst du selbst festlegen unter Datacenter -> Options -> Migration Settings


Dafür dann natürlich nicht das Corosync Netz auswählen
Bei uns läuft es über das Client Access Netz (10GBit).

 

[DocMorris]

Wie geil .....

 

[aaron]

Grundsätzlich sollte noch erwähnt werden, dass Corosync in der Version 3, Teil von PVE ab PVE 6, bis zu 8 Links unterstützt. Da es selbst den Link wechseln kann wenn einer nicht mehr funktioniert, schadet es auch nicht Corosync auf allen verfügbaren NICs zu konfigurieren, mit dem ersten Link am dedizierten Corosync Netz.

Sollte HA in Verwendung sein können 2 Minuten ohne funktionierende Corosync Kommunikation böse Enden da sich dann die Nodes mit HA Gästen resetten um Gäste nicht doppelt laufen zu haben.