Netzwerk Konfiguration mit Ceph

[fwinkler]

Hallo,

wir setzen gerade einen neuen Proxmoxcluster auf. Hier suche ich nach einem guten Ansatz für das Netzwerk.

Hardware:
5 x Dell Server (Proxmox)
- mit je 7,68TB ssd für ceph
- 2 x 1GB
- 4 10GB
- 2 100GB

1 x Dell Server (Backupserver)
- mit 3 x 7,68TB für Backups
- 2 x 1GB
- 2 x 10GB

2 x 100GB Switch
2 x 10GB Switch
1 x 1GB Switch


Die 100GB Switches sollen nur die 5 Proxmox Server Verbinden und es laufen beide 100GB Anschlüsse im bond für das Ceph. Auf einem 10GB Anschluss läuft die Proxmox Web Oberfläche und der Backupserver.
2 x 10 GB Anschlüsse laufen im bond für die VM's. 1 x 1GB wird für corosync verwendet und 1 x 1GB ist noch frei. Zur Zeit ist noch ein 10GB Anschluss für "Altlasten" im Einsatz, der könnte aber auch gegen den 1GB getauscht werden.

Auf das Ceph soll von Kubernetes aus zugegriffen werden. Hier werden die Ceph-csi Treiber verwendet welche Zugriff auf die Monitore von Ceph benötigen. Aus dem möchte ich auf dem Ceph noch das Originale Webinterface und die radosgw für S3 verfügbar haben.







Aktuell ist der Cluster noch nicht Produktiv, es kann noch alles angepasst werden.

Hat jemand Vorschläge zur Verbesserung?

 

[jsterr]

Hallo

• VLAN-Aware yes bei vmbr1
• braucht ihr wirklich eine vmbr0 für das Web-UI? Falls nein, dann einfach die vmbr0 entfernen und die IP direkt auf ens1f0np0 legen
• für was ist vmbr2? Ich würde empfehlen direkt mit dem SDN und einer VLAN-Zone zu arbeiten, das spart euch zukünftig Arbeit, weil man Anpassungen dann nur noch an einer anstatt an 3 Stellen machen muss.
  
  
• Corosync: Was wird als Ring1 (Ring0 Fallback) definiert? Entweder aufs Ceph legen oder besser Ring1 auf einen weiteren Port der Gigabit Karte und Ring2 auf Ceph (falls die Dual Gigabit ausfällt, hättet ihr sonst eine Corosync-Downtime)
  
  
• Ansonsten: Jumbo Frames beim Ceph Netzwerk aktiviert?
• Ansonsten: Netzwerk Tests gemacht mit iperf3?

Grüße Jonas

 

[fwinkler]

Hi, danke für die schnelle Antwort

• Corosync Ring 1 ist auf dem vmbr0 mit drauf
• Jumbo Frames bei Ceph sind an
• das vmbr2 fällt noch weg, das ist eine Temporäre Lösung um in unsere "alte Infrastruktur zu kommen"

Mit SDN kenne ich mich noch nicht aus, da weis ich nicht wie das aussehen könnte.
Eine Stelle wo ich noch fest hänge ist das rados Gateway. Kann ich da ein Endpunkt im z.B. Vm Netz nehmen auch wenn das public Netzwerk und das Clusternetz von Ceph in einem anderen Netz ist?

root@pve1:~# cat /etc/ceph/ceph.conf
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = 192.168.0.1/24
fsid = 0ea316e3-fe45-41d7-81d4-8751e5f402cf
mon_allow_pool_delete = true
mon_host = 192.168.0.2 192.168.0.1 192.168.0.3
ms_bind_ipv4 = true
ms_bind_ipv6 = false
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 192.168.0.0/24

[client]
keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
keyring = /etc/pve/ceph/$cluster.$name.keyring

[client.radosgw.pve1]
host = pve1
keyring = /etc/pve/priv/ceph.client.radosgw.keyring
log_file = /var/log/ceph/client.radosgw.$host.log
rgw_dns_name = s3.dev.internal
rgw_frontends = beast endpoint=10.144.189.10:8080
rgw_thread_pool_size = 512

[client.radosgw.pve2]
host = pve2
keyring = /etc/pve/priv/ceph.client.radosgw.keyring
log_file = /var/log/ceph/client.radosgw.$host.log
rgw_dns_name = s3.dev.internal
rgw_frontends = beast endpoint=10.144.189.11:8080
rgw_thread_pool_size = 512

[client.radosgw.pve3]
host = pve3
keyring = /etc/pve/priv/ceph.client.radosgw.keyring
log_file = /var/log/ceph/client.radosgw.$host.log
rgw_dns_name = s3.dev.internal
rgw_frontends = beast endpoint=10.144.189.12:8080
rgw_thread_pool_size = 512

[mds]
keyring = /var/lib/ceph/mds/ceph-$id/keyring

[mds.pve1]
host = pve1
mds_standby_for_name = pve

[mds.pve2]
host = pve2
mds_standby_for_name = pve

[mds.pve3]
host = pve3
mds_standby_for_name = pve

[mon.pve1]
public_addr = 192.168.0.1

[mon.pve2]
public_addr = 192.168.0.2

[mon.pve3]
public_addr = 192.168.0.3