[SOLVED] trying to aquire cfs lock 'file-replication_cfg'

[shibumi]

Heyho,
Ich habe gerade den 25. Knoten in unseren Cluster aufgenommen und irgendwie bekomme ich diesen Knoten nicht gesynced mit dem Rest:
```
Jul 12 17:07:06 cloud-25 pvesr[7939]: trying to aquire cfs lock 'file-replication_cfg' ...
Jul 12 17:07:07 cloud-25 pvesr[7939]: trying to aquire cfs lock 'file-replication_cfg' ...
Jul 12 17:07:08 cloud-25 pvesr[7939]: trying to aquire cfs lock 'file-replication_cfg' ...
Jul 12 17:07:09 cloud-25 pvesr[7939]: trying to aquire cfs lock 'file-replication_cfg' ...
Jul 12 17:07:10 cloud-25 pvesr[7939]: error with cfs lock 'file-replication_cfg': no quorum!
Jul 12 17:07:10 cloud-25 systemd[1]: pvesr.service: Main process exited, code=exited, status=13/n/a
Jul 12 17:07:10 cloud-25 systemd[1]: Failed to start Proxmox VE replication runner.
Jul 12 17:07:10 cloud-25 systemd[1]: pvesr.service: Unit entered failed state.
Jul 12 17:07:10 cloud-25 systemd[1]: pvesr.service: Failed with result 'exit-code'.
```

Wenn ich auf Knoten 2 auf der grafischen Oberfläche bin kann ich auf cloud-25 ohne Probleme zugreifen. Er wird mir allerdings als rot angezeigt. Multicast scheint zu funktionieren. Zumindest habe ich nichts in den Logs was auf Corosync schließen lässt. Stattdessen spamt mir der pvesr alles voll.

Ich erinnere mich daran, dass als ich den Knoten in den Cluster einhing, dass da auf /mnt noch eine platte gemounted war. Dementsprechend landete /mnt/pve auf dieser Platte.. dann hatte ich einfach die Platte geunmounted und der platte einen neuen Ort zugewiesen: /mnt/backups/

Nach einem Reboot war dann auch alles korrekt.
Auf /mnt/pve/ ist alles gemounted was sein soll und /mnt/backups ebenfalls..

Allerdings bekomme ich nach wie vor diese pvesr fehler.. ich kann auch diese dubiose file_replication_cfg nicht finden.. jemand eine Idee?

 

[shibumi]

Ich habe auch auf cloud-25 zusätzlich einen NFS Share installiert und wollte diesen auf alle anderen Knoten exportieren. Wenn ich das versuche bekomme ich folgende Meldung:
```
create storage failed: error with cfs lock 'file-storage_cfg': mkdir /mnt/pve/nfs-cloud-25/images: Permission denied at /usr/share/perl5/PVE/Storage/Plugin.pm line 882. (500)
```

Irgendwas scheint hier ziemlich kaputt zu sein

Wenn ich versuche dieses Share zu mounten auf allen Knoten verliere ich für den Knoten 25 das Quorum und der Knoten fliegt aus dem Cluster heraus.. wieso?

 

[wolfgang]

Hi,

ich würde sagen das du ein Netzwerk Problem hast.
pvesr macht den Fehler weil du kein quorum hast.

Wie sieht dein Netzwerk aus?
was sagt

journalctl -u corosync

 

[shibumi]

Hallo,
Ich habe 25 Knoten. Diese haben 2 Interfaces konfiguriert:
das eine hat alle public IP Adressen worüber der Cluster erreichbar ist.

Das andere ist ein extra Switch der alle Knoten über 10.0.0.0-25 verbindet.
Ich habe eben nochmal explizit alle Knoten ins IGMP snooping mit aufgenommen.
Nun sind alle Knoten "Grün".

Jedoch wird Knoten 25 nur auf der grafischen Oberfläche von Cloud-2 und CLoud-25 angezeigt.
Wenn ich auf der grafischen Oberfläche von irgendeinem anderen Knoten bin fehlt der Knoten.

Desweiteren schlägt das mounten des NFS Shares immer noch fehl mit:

```

create storage failed: error with cfs lock 'file-storage_cfg': mount error: mount.nfs: access denied by server while mounting 139.174.16.25:/mnt/backups (500)
```

Corosync sieht auf dem Knoten wie folgt aus:
```
[...]

ul 13 11:20:30 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60a7b 60a7c 60a7d 60a7e 60a7f
ul 13 11:20:30 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60a7b 60a7c 60a7d 60a7e 60a7f
ul 13 11:20:30 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60a7b 60a7c 60a7d 60a7e 60a7f 60a80
ul 13 11:20:30 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60a7b 60a7c 60a7d 60a7e 60a7f 60a80
ul 13 11:20:30 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60a80
ul 13 11:20:30 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60a80
ul 13 11:20:32 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60a94
ul 13 11:20:32 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60a94
ul 13 11:20:32 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60a9a
ul 13 11:20:32 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60a9a
ul 13 11:20:32 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60ac1
ul 13 11:20:32 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60ac1
ul 13 11:20:32 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60ac2
ul 13 11:20:32 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60ac2
ul 13 11:20:32 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60ac3
ul 13 11:20:32 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60ac3
ul 13 11:21:00 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e7a
ul 13 11:21:00 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e7a
ul 13 11:21:00 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e7b
ul 13 11:21:00 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e7b
ul 13 11:21:00 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e7c
ul 13 11:21:00 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e7c
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e84 60e85 60e86 60e87 60e88
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e84 60e85 60e86 60e87 60e88
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e89
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e89
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e8a
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e8a
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e8d
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e8d
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e8e
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e8e
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e91
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e91
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e9a
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e9a
ul 13 11:21:01 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60e9b
ul 13 11:21:01 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60e9b
ul 13 11:21:02 cloud-25 corosync[11869]: notice [TOTEM ] Retransmit List: 60ebf
ul 13 11:21:02 cloud-25 corosync[11869]: [TOTEM ] Retransmit List: 60ebf
[..]
```

Also auf Corosync Seite sieht alles in Ordnung aus.

 

[shibumi]

Ok also ich hab nochmal genauer nachgesehen.
Anscheinend zeigt nur die grafische Oberfläche nicht alle Knoten an.
Auf Knoten-3 zb kriege ich alle knoten ebenfalls angezeigt.

Auf Knoten 5 jedoch fehlt wieder Knoten-25 in der grafischen Oberfläche, aber im pvecm status befehl wird Knoten 25 angezeigt.

EDIT: Ich dachte das QUorum soll genau solche Fälle verhindern?

 

[shibumi]

Ok,
Ich habe gerade eben mal alle Corosync Services neugestartet auf jeem Cluster-Knoten. Nun werden alle Knoten auf allen grafischen Oberflächen richtig angezeigt und ich habe ein Qorum von allen 25 Knoten. pvesr wirft nun auch keine Fehler mehr.

Was aber immer noch nicht geht ist das Mounten des NFS Shares. Soll ich dafür einen neuen Thread aufmachen?
```
create storage failed: error with cfs lock 'file-storage_cfg': mkdir /mnt/pve/nfs-cloud-25/template: Permission denied at /usr/share/perl5/PVE/Storage/Plugin.pm line 882. (500)
```

 

[wolfgang]

Ja bitte einen extra Post machen, da das zwei versiedende Sachen sind.
Und wenn jemand das gleiche Problem hat es nicht finden kann.

 

[shibumi]

Top dann marke ich das hier erstmal als resolved. Danke für deine Hilfe