Search results

The config in the first post does work for the proxmox nodes, please take a look at: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server I now figured out a way to have the VMs access the ceph ips. Adding vmbr1 with 10.0.13.1/24 and the following rules on the nodes did the trick...

I already tried this, but it leads to another strange phenomenon. interfaces looks like # connected to node2 (.12.2) auto enp129s0f0 iface enp129s0f0 inet static # address 10.0.12.1/24 mtu 9000 up ip route add 10.0.12.2/32 dev enp129s0f0 down ip route del...

Here is the relevant excerpt /etc/network/interfaces of node1. Node 2 and 3 have their IPs changed accordingly. # connected to node2 (.12.2) auto enp129s0f0 iface enp129s0f0 inet static address 10.0.12.1/24 mtu 9000 up ip route add 10.0.12.2/32 dev enp129s0f0 down...

Moin, ich habe ein full mesh 3 node cluster mit Ceph aufgesetzt wie hier beschrieben. Jetzt möchte von einigen VMs auf CephFS zugreifen. Ich habe eine Bridge mit IP eingerichtet, mit der VM verbunden und der VM eine IP im Netz der Bridge gegeben. Die lokale IP des Ceph-Mesh kann ich pingen...

Hi, I have set up a fully meshed 3 node cluster with ceph. (like described here). Now I would like my VMs to have access to CephFS. By adding a bridge with IP to my VM I could ping the local Ceph IP, but not the remote ones. I have ip_forwarding enabled. Seems like I'm missing some routes. Is...

Ok, d.h. drei Meshes mit 40GBe für Ceph 10GBe für Corosync/Cluster/wieauchimmer (nur 10GBe weil nix kleineres da ist) 10GBe für Live-Migration und Backup scheinen zu passen. Host und VM Traffic würden über weitere Interfaces über den Switch gehen. Korrekt so?

Siehe 1. Post: 2. Cluster-Traffic (die IPs auf die die jeweiligen Hostnamen resolven, was geht da eigentlich alles genau drüber?) Da weiß ich eben nicht genau was da alles läuft. Wenn es sowieso vernachlässigbar ist, wieso wird dann empfohlen corosync abtrennen? Oder gilt die Empfehlung...

Es soll nen HA Cluster werden. Hauptsächlich Linux-VM mit Datenbank und Webservern, alles eher read-orientiert. Vielleicht auch ein, zwei Windows-Server dazwischen. Wenn ich das richtig verstehe handled das CEPH client/public-Netz die Kommunikation mit den Clients (also den Cluster-Nodes). Das...

Hi, regarding my last post, I think my wording was wrong. In my current understanding there are the following types of traffic in a hyper-converged cluster: 1. Cluster communication (this is the IPs that the node-hostnames resolve to) 2. Corosync (ring0 must be dedicated) 3. Ceph public 4. Ceph...

Hi, ist die Frage zu schwierig oder zu trivial? Oder hat einfach niemand Erfahrung damit? Gruß converged

Hi, ich baue hier einen hyper-converged cluster mit drei Knoten. Jeder Knoten hat eine NVMe-OSD und eine HDD-OSD. Da ich nur einen Switch zur Verfügung habe soll aller cluster-interner Traffic in Mesh-Netzen laufen. Zwischen den Knoten habe ich 1 x 40 GBe mesh und 3 x 10 GBe mesh, jeder Knoten...

My current understanding is: 40GBe mesh for Ceph storage 10GBe mesh for Ceph client 10GBe mesh cluster network 10GBe mesh dedicated live migration (and corosync ring1) 10GBe to switch for public proxmox host connectivity 10GBe to switch for public and private VM connectivity (in separate VLANs)...

Unfortunately I have only one switch (can't change that), therefore I was thinking about another meshed net for inter-vm communication, so that the cluster as a whole would be independent of the switch, even if public connectivity went down.

Hi, I'm planning on setting up a 3-node cluster. Per node I have two 40GBe ports available and 8 10GBe ports. It is not expected that the cluster will grow, therefore I'm planning a meshed network setup: 2x40GBe meshed for Ceph storage 2x10Gbe meshed for Ceph client 2x10Gbe meshed for Cluster...