Hi Leute,
habe schon gefühlt ganz google durchsucht und habe es nicht geschafft es rauszufinden, wie ich es schaffe.
2 Promox Systeme über Openvpn (verschieden Standorte) zu verbinden!
Und Ob und wenn ja, wie das überhaupt möglich wäre..
Die Basis für die Promox Installation ist soweit in Ordnung !
Ich habe auf dem "Master" einen Openvpn Server gesetzt im "tap" modus,
meine "interfaces" habe ich so angelegt !
(master)
========
iface eno1 inet manual
iface tap0 inet manual
auto vmbr0
iface vmbr0 inet static
address 51.15.x.x
netmask 255.255.255.0
gateway 51.15.x.x
bridge_ports eno1
bridge_stp off
bridge_fd 1
bridge_hello 2
bridge_maxage 12
auto vmbr1
iface vmbr1 inet static
address 10.8.0.1
netmask 255.255.255.0
bridge_ports tap0
bridge_stp off
bridge_fd 0
post-up route add -net 224.0.0.0 netmask 240.0.0.0 dev tab0
post-up echo 1 > /sys/devices/virtual/net/vmbr1/bridge/multicast_querier
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up echo 1 > /proc/sys/net/ipv4/conf/tap0/proxy_arp
post-up iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
========
Openvpn arbeite mit 10.8.0.0/24 netz (also die 10.8.0.1) ist meine IP, als tab0!
========
Hoch fährt das System mit der vmbr0 (als externe ip) und mit vmbr1 (openvpn)
========
vmbr1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.8.0.1 netmask 255.255.255.0 broadcast 10.8.0.255
inet6 fe80::a460:fdff:fecd:e4de prefixlen 64 scopeid 0x20<link>
ether 6a:56:3b:dc:03:ec txqueuelen 1000 (Ethernet)
RX packets 15 bytes 880 (880.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 24 bytes 1856 (1.8 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
=========
in der /etc/hosts
habe ich (da könnte der fehler sein)
==========
127.0.0.1 localhost
51.15.x.x sd-138352.dedibox.fr sd-138352
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
10.8.0.1 pve1.vlan sd-138352 pvelocalhost
10.8.0.2 pve2
============
für Server 2 (anderer Standort)
interfaces
=============
auto lo
iface lo inet loopback
iface enp1s0f0 inet manual
iface tap0 inet manual
auto vmbr0
iface vmbr0 inet static
address 51.15.x.x
netmask 255.255.255.0
gateway 51.15.x.x
bridge_ports enp1s0f0
bridge_stp off
bridge_fd 1
bridge_hello 2
bridge_maxage 12
auto vmbr1
iface vmbr1 inet static
address 10.8.0.2
netmask 255.255.255.0
bridge_ports tap0
bridge_stp off
bridge_fd 0
post-up route add -net 224.0.0.0 netmask 240.0.0.0 dev tab0
post-up echo 1 > /sys/devices/virtual/net/vmbr1/bridge/multicast_querier
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up echo 1 > /proc/sys/net/ipv4/conf/tap0/proxy_arp
post-up iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
============
die bridge fährt auf tab0 hoch mit :
=============
vmbr1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.8.0.2 netmask 255.255.255.0 broadcast 10.8.0.255
inet6 fe80::fc19:b1ff:fe48:9a56 prefixlen 64 scopeid 0x20<link>
ether 3e:71:ea:63:a2:48 txqueuelen 1000 (Ethernet)
RX packets 10 bytes 560 (560.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 22 bytes 1676 (1.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
=========
ein ping zu jeder Seite bekomme ich hin
->
64 bytes from 10.8.0.2: icmp_seq=1 ttl=64 time=1.09 ms
64 bytes from 10.8.0.2: icmp_seq=2 ttl=64 time=0.377 ms
64 bytes from 10.8.0.2: icmp_seq=3 ttl=64 time=0.538 ms
64 bytes from 10.8.0.2: icmp_seq=4 ttl=64 time=0.538 ms
and
64 bytes from 10.8.0.1: icmp_seq=1 ttl=64 time=0.643 ms
64 bytes from 10.8.0.1: icmp_seq=2 ttl=64 time=0.526 ms
64 bytes from 10.8.0.1: icmp_seq=3 ttl=64 time=0.522 ms
64 bytes from 10.8.0.1: icmp_seq=4 ttl=64 time=0.646 ms
-------
Die Host datei auf Server 2 (auch da könnte der fehler sein)
=======
127.0.0.1 localhost
51.15.x.x sd-144946.dedibox.fr sd-144946
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
10.8.0.2 pve2.vlan sd-144946 pvelocalhost
10.8.0.1 pve1.vlan
==========
ich erstelle mir auf server1 das cluster mit "pvecm create test"
...
Quorum information
------------------
Date: Sat Jul 13 07:58:23 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000001
Ring ID: 1/8
Quorate: Yes
Votequorum information
----------------------
Expected votes: 1
Highest expected: 1
Total votes: 1
Quorum: 1
Flags: Quorate
Membership information
----------------------
Nodeid Votes Name
0x00000001 1 51.15.x.x (local)
==============
(warum da nicht die 10.8.0.1) steht weiß ich leider nicht, werde sie aber über pve add 10.8.0.1 auf node 2 adden wollen..
===========
Server 2 =
===========
pvecm add 10.8.0.1
Please enter superuser (root) password for '10.8.0.1':
Password for root@10.8.0.1: ***********
Establishing API connection with host '10.8.0.1'
The authenticity of host '10.8.0.1' can't be established.
X509 SHA256 key fingerprint is 4A:73:A0:7F:38:F3:04:36:A8
C:3D2:0E:58:8B:4E:22:33:B9:E0:65:AC:46:7A:4B:9B:7F:47:AF:7A:F8C.
Are you sure you want to continue connecting (yes/no)? yes
Login succeeded.
Request addition of this node
Join request OK, finishing setup locally
stopping pve-cluster service
backup old database to '/var/lib/pve-cluster/backup/config-1562997563.sql.gz'
waiting for quorum...
==============
Das wars schon und da bleibt er stehen
im Syslog von Server 1 steht nur..
Jul 13 08:00:00 sd-138352 systemd[1]: Starting Proxmox VE replication runner...
Jul 13 08:00:00 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:01 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:02 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:03 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:04 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:05 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:06 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:07 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:08 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:09 sd-138352 pvesr[28117]: error with cfs lock 'file-replication_cfg': no quorum!
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Main process exited, code=exited, status=13/n/a
Jul 13 08:00:09 sd-138352 systemd[1]: Failed to start Proxmox VE replication runner.
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Unit entered failed state.
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Failed with result 'exit-code'.
--------
aber ich komme nicht weiter..
Das Ziel :
2server, via OPENVPN als Cluster verbinden!
Jeder server arbeitet für sich, aber ich kann über 1 Oberfläche halt bei beiden Container anlegen..
und auch löschen, dass spart mir immer das aufmachen von 2 Oberflächen.. und deswegen kA ob das überhaupt geht
Ist mein erstes Mal.. ggf. kann mir einer einen Rat geben !
Dankeschön
habe schon gefühlt ganz google durchsucht und habe es nicht geschafft es rauszufinden, wie ich es schaffe.
2 Promox Systeme über Openvpn (verschieden Standorte) zu verbinden!
Und Ob und wenn ja, wie das überhaupt möglich wäre..
Die Basis für die Promox Installation ist soweit in Ordnung !
Ich habe auf dem "Master" einen Openvpn Server gesetzt im "tap" modus,
meine "interfaces" habe ich so angelegt !
(master)
========
iface eno1 inet manual
iface tap0 inet manual
auto vmbr0
iface vmbr0 inet static
address 51.15.x.x
netmask 255.255.255.0
gateway 51.15.x.x
bridge_ports eno1
bridge_stp off
bridge_fd 1
bridge_hello 2
bridge_maxage 12
auto vmbr1
iface vmbr1 inet static
address 10.8.0.1
netmask 255.255.255.0
bridge_ports tap0
bridge_stp off
bridge_fd 0
post-up route add -net 224.0.0.0 netmask 240.0.0.0 dev tab0
post-up echo 1 > /sys/devices/virtual/net/vmbr1/bridge/multicast_querier
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up echo 1 > /proc/sys/net/ipv4/conf/tap0/proxy_arp
post-up iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
========
Openvpn arbeite mit 10.8.0.0/24 netz (also die 10.8.0.1) ist meine IP, als tab0!
========
Hoch fährt das System mit der vmbr0 (als externe ip) und mit vmbr1 (openvpn)
========
vmbr1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.8.0.1 netmask 255.255.255.0 broadcast 10.8.0.255
inet6 fe80::a460:fdff:fecd:e4de prefixlen 64 scopeid 0x20<link>
ether 6a:56:3b:dc:03:ec txqueuelen 1000 (Ethernet)
RX packets 15 bytes 880 (880.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 24 bytes 1856 (1.8 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
=========
in der /etc/hosts
habe ich (da könnte der fehler sein)
==========
127.0.0.1 localhost
51.15.x.x sd-138352.dedibox.fr sd-138352
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
10.8.0.1 pve1.vlan sd-138352 pvelocalhost
10.8.0.2 pve2
============
für Server 2 (anderer Standort)
interfaces
=============
auto lo
iface lo inet loopback
iface enp1s0f0 inet manual
iface tap0 inet manual
auto vmbr0
iface vmbr0 inet static
address 51.15.x.x
netmask 255.255.255.0
gateway 51.15.x.x
bridge_ports enp1s0f0
bridge_stp off
bridge_fd 1
bridge_hello 2
bridge_maxage 12
auto vmbr1
iface vmbr1 inet static
address 10.8.0.2
netmask 255.255.255.0
bridge_ports tap0
bridge_stp off
bridge_fd 0
post-up route add -net 224.0.0.0 netmask 240.0.0.0 dev tab0
post-up echo 1 > /sys/devices/virtual/net/vmbr1/bridge/multicast_querier
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up echo 1 > /proc/sys/net/ipv4/conf/tap0/proxy_arp
post-up iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o tab0 -j MASQUERADE
============
die bridge fährt auf tab0 hoch mit :
=============
vmbr1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.8.0.2 netmask 255.255.255.0 broadcast 10.8.0.255
inet6 fe80::fc19:b1ff:fe48:9a56 prefixlen 64 scopeid 0x20<link>
ether 3e:71:ea:63:a2:48 txqueuelen 1000 (Ethernet)
RX packets 10 bytes 560 (560.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 22 bytes 1676 (1.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
=========
ein ping zu jeder Seite bekomme ich hin
->
64 bytes from 10.8.0.2: icmp_seq=1 ttl=64 time=1.09 ms
64 bytes from 10.8.0.2: icmp_seq=2 ttl=64 time=0.377 ms
64 bytes from 10.8.0.2: icmp_seq=3 ttl=64 time=0.538 ms
64 bytes from 10.8.0.2: icmp_seq=4 ttl=64 time=0.538 ms
and
64 bytes from 10.8.0.1: icmp_seq=1 ttl=64 time=0.643 ms
64 bytes from 10.8.0.1: icmp_seq=2 ttl=64 time=0.526 ms
64 bytes from 10.8.0.1: icmp_seq=3 ttl=64 time=0.522 ms
64 bytes from 10.8.0.1: icmp_seq=4 ttl=64 time=0.646 ms
-------
Die Host datei auf Server 2 (auch da könnte der fehler sein)
=======
127.0.0.1 localhost
51.15.x.x sd-144946.dedibox.fr sd-144946
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
10.8.0.2 pve2.vlan sd-144946 pvelocalhost
10.8.0.1 pve1.vlan
==========
ich erstelle mir auf server1 das cluster mit "pvecm create test"
...
Quorum information
------------------
Date: Sat Jul 13 07:58:23 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000001
Ring ID: 1/8
Quorate: Yes
Votequorum information
----------------------
Expected votes: 1
Highest expected: 1
Total votes: 1
Quorum: 1
Flags: Quorate
Membership information
----------------------
Nodeid Votes Name
0x00000001 1 51.15.x.x (local)
==============
(warum da nicht die 10.8.0.1) steht weiß ich leider nicht, werde sie aber über pve add 10.8.0.1 auf node 2 adden wollen..
===========
Server 2 =
===========
pvecm add 10.8.0.1
Please enter superuser (root) password for '10.8.0.1':
Password for root@10.8.0.1: ***********
Establishing API connection with host '10.8.0.1'
The authenticity of host '10.8.0.1' can't be established.
X509 SHA256 key fingerprint is 4A:73:A0:7F:38:F3:04:36:A8
C:3D2:0E:58:8B:4E:22:33:B9:E0:65:AC:46:7A:4B:9B:7F:47:AF:7A:F8C.Are you sure you want to continue connecting (yes/no)? yes
Login succeeded.
Request addition of this node
Join request OK, finishing setup locally
stopping pve-cluster service
backup old database to '/var/lib/pve-cluster/backup/config-1562997563.sql.gz'
waiting for quorum...
==============
Das wars schon und da bleibt er stehen
im Syslog von Server 1 steht nur..
Jul 13 08:00:00 sd-138352 systemd[1]: Starting Proxmox VE replication runner...
Jul 13 08:00:00 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:01 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:02 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:03 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:04 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:05 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:06 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:07 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:08 sd-138352 pvesr[28117]: trying to acquire cfs lock 'file-replication_cfg' ...
Jul 13 08:00:09 sd-138352 pvesr[28117]: error with cfs lock 'file-replication_cfg': no quorum!
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Main process exited, code=exited, status=13/n/a
Jul 13 08:00:09 sd-138352 systemd[1]: Failed to start Proxmox VE replication runner.
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Unit entered failed state.
Jul 13 08:00:09 sd-138352 systemd[1]: pvesr.service: Failed with result 'exit-code'.
--------
aber ich komme nicht weiter..
Das Ziel :
2server, via OPENVPN als Cluster verbinden!
Jeder server arbeitet für sich, aber ich kann über 1 Oberfläche halt bei beiden Container anlegen..
und auch löschen, dass spart mir immer das aufmachen von 2 Oberflächen.. und deswegen kA ob das überhaupt geht
Ist mein erstes Mal.. ggf. kann mir einer einen Rat geben !
Dankeschön
