Master aus PostgresDB entfernen

[RichBone]

Hallo

da der Cluster mit HASH Fehlern ständig streikte, habe ich bei beiden die Cluster.conf gelöscht und wollte den Cluster neu anlegen, leider erhalte ich nun beim Hinzufügen folgende Fehlermeldung:

DBD:g::db do failed: ERROR: duplicate key value violates unique constraint "localstat_pkey" DETAIL: Key ("time", cid)=(1609671600, 1) already exists. at /usr/share/perl5/PMG/DBTools.pm line 928.

Wie bekomme CID 1 aus der DB heraus?

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

Wie wurden die nodes aus dem cluster entfernt - `pmgcm del` wäre die korrekte Vorgehensweise - siehe `man pmgcm`

Ansonsten - es wäre wahrscheinlich das einfachste einfach eine frische Node zum bestehenden master hinzuzufügen (die Quarantäne der alten node sollte schon auf dem cluster sein, und das Regelsystem liegt ohnehin auf dem master).

Ich hoffe das hilft!

 

[RichBone]

Hallo

habe es dann doch wieder geschafft den node hinzuzufügen, muss nun nur noch warten bis der Snyc in 5-7 Tagen auf Aktiv steht.

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

muss nun nur noch warten bis der Snyc in 5-7 Tagen auf Aktiv steht.

5-7 tage klingt etwas lange für einen PMG cluster sync?
steht dazu etwas in den logs? bzw. welcher prozess läuft da so lange?

 

[RichBone]

Hallo

das liegt glaube an der Quaratäne, war bei einem anderem System auch, derzeit steht beim Master Sync und bei Node Aktiv, und bei Node genau anderesrum.

Nach 5-7 Tagen ist dann bei beiden alles aktiv.

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

das liegt glaube an der Quaratäne, war bei einem anderem System auch, derzeit steht beim Master Sync und bei Node Aktiv, und bei Node genau anderesrum.

Nach 5-7 Tagen ist dann bei beiden alles aktiv.

wie gross ist die Quarantäne?

du -smc /var/spool/pmg/*

und wie lange werden mails in der Quarantäne gehalten?

Ich nehme an, dass nach einem initialen sync die nächsten syncs schneller gehen? (steht im journal der pmgmirror unit: journalctl -u pmgmirror

Ich frage deswegen, da wir beim sync einige kleine Änderungen vorhaben, und das potentiell in unsere Annahmen einfließen sollte

 

[RichBone]

Hallo

laut Weboberfläche eigentlich leer, laut Shell 11:

Siehe:

root@mx1:~# du -smc /var/spool/pmg/*
1 /var/spool/pmg/active
1 /var/spool/pmg/attachment
11 /var/spool/pmg/cluster
1 /var/spool/pmg/spam
1 /var/spool/pmg/virus
11 total

Sobald es mal wieder durch ist, steht in der Weboberfläche der Status auf Aktiv, wobei aktuell immer gesynct wird, wenn ich die Einstellungen und Dateien auf beiden MX vergleiche.

In den Logs taucht leider immer wieder:

Mar 08 09:05:59 mx1 pmgmirror[1390]: database sync 'mx2' failed - DBD:g::st execute failed: ERROR: duplicate key value violates unique constraint "cstatistic_pkey"
DETAIL: Key (cid, rid)=(2, 84241) already exists. at /usr/share/perl5/PMG/DBTools.pm line 1086.

auf.

Auf dem MX1:

mx1 pmgmirror[1390]: starting cluster syncronization
mx1 pmgmirror[1390]: database sync 'mx2' failed - DBD:g::st execute failed: ERROR: duplicate key value violates unique constraint "cstatistic_pkey"
DETAIL: Key (cid, rid)=(2, 84241) already exists. at /usr/share/perl5/PMG/DBTools.pm line 1086.
mx1 pmgmirror[1390]: cluster syncronization finished (1 errors, 1.20 seconds (files 1.13, database 0.07, config 0.00))

Auf dem MX2:

mx2 pmgmirror[1426]: starting cluster syncronization
mx2 pmgmirror[1426]: cluster syncronization finished (0 errors, 1.67 seconds (files 0.16, database 1.30, config 0.21))

Daher wenn das Problem ist der PostgresDB behoben wäre, würde alles wieder laufen.

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

Mar 08 09:05:59 mx1 pmgmirror[1390]: database sync 'mx2' failed - DBD:g::st execute failed: ERROR: duplicate key value violates unique constraint "cstatistic_pkey"
DETAIL: Key (cid, rid)=(2, 84241) already exists. at /usr/share/perl5/PMG/DBTools.pm line 1086.

das ist ein Fehler, der durch das unsaubere entfernen und wieder hinzufügen einer Node aus dem cluster resultiert... - bitte mal die /etc/pmg/cluster.conf posten (fingerprints und die root/host keys gerne anonymisieren).

wie wurde mx2 wieder in den cluster aufgenommen?

laut Weboberfläche eigentlich leer, laut Shell 11:

11 MB sollten sich aber auch in weniger als 5-7 tagen übermitteln lassen - falls möglich beim ersten sauberen sync nochmal die logs von pmgmirror und pmgtunnel teilen. Danke!

 

[RichBone]

Hallo

cluster.conf MX1

master: 1
fingerprint 25:46:A1:5F:7D:40:59:A5:B8:24:85:10:C7:AC:83:89:0C:7D:88:2D:1F:E2:69:7A:F1:38:2C:04:F2:FF:XX:XX
hostrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDS3FWD5LaaM1StV2l7XjPor+d6kXYjVOe6f4yYmgvojG43PgJagcQTSJ14wp/NHGLAXjNpUwX64p+Oh1KNcEqywZjuKZHTt3gVNNQ4Z64C2fDjdxwM8VD7WfKsdC1+8VZrkf9x/rnc3AHkjM3bk8taAdWvrJiieDMrVGMB4DgTyPlVMKT5zw8Eymlwux6/NOjGebBJU8VjCPXpT/dkXcgrn8kWjNDqrXXX/c+Uo0MBs2wcVx61CT9ndbLhFLYj9SD7M8o44+Ial6ffF1A++PyT5oLk9xkANhgbASvls7jVf6tE8WfcI8aJjwBZo94TrkMTZQpfy5nazuLxtJB+XXXX
ip 157.XX.XX.XXX
maxcid 2
name mx1
rootrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDP38OiCfk2Q5FARANkVv632O8F+WrLRR+5SDy/57ql0+JN4WSuF4TLEtu3y+P1ibX1z3AgGI3ZKFFv/PXHDxusLAup+ZRCxoSb0PI5SzMhc5w/kjLr4ydmxkdA9WswLmngdA627YqYyV5I5h0lfZnV2cJRB6k/2Kbb15OSLuWS4HfSvPxWdkPg0TSEjaJmV52Bb+hFl+NN6Q66chaqyHwY+IBWSZW6SGpAZ/78MT0Tm7NGXwpt8uXMoun1GjVYfaWlFJX1BBqwrmXLwb2w5h5Au+OyJiVDLjB2tQOctWIu5j6TMvVKZ4tVhNH8LD5ttDYIHsLtDqzwVrqQG1OFXXXX

node: 2
fingerprint F3:2B:8B:070:B0:91:60:6C:E5:BF88:2A:89:788:8E:B3:0F:36:4F:1D4:28:9E:7B:BB:75:27:XX:XX
hostrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDO7IEMRZHHClGms3cP2u7LWvaW4JN9CKRbfot6W4sdv/46nxAvo95zgR/giXVIT+ZU2woUYYUUagks1wi51X9cC+Bx5IETmYuU5nTTWpm9u6pbhoxtSbhULyWlRvMf+8y6K209ZcbAXXgXobwJHqoCAqgCbTG5yhTzR/som7Mvxmp4YATVSO6UulkYJrY32fPI2ZiB8KO49DLhQ8dTtQgX9fqmTEizmjWkJT5ZhTfAlCQdTR23dEjHbSB6CvbE4Te0O8UKQ3qXFDC+gCpbpfnOJuUH8LaO2Te7l1mXBN4XvAXf/UkHhjdvPcyMaN77aXgm+cbfJjhAyQDWivPEXXXX
ip 188.XX.XXX.XXX
name mx2
rootrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDEU9uCRHqJ3OgcHJNaoE7Q36cNy/kBDIL2olzVUKfpTwtqLCEVnrpmhQSs/ytgVGGpZQJcYhyDszaGLG+zL8biFTTGrJ0Vpq2tHK5YVuezXZS8w4+eNyTZy88AMx1BK8TaIjCJZaZGxlCjVFDIVYY6+vVi1GFqkHJ+c+/dm60DJCDI/RJYwocfH2p+4gPr8zVMQbrqX/VZgLzAcma8UPQrA8BXEiDYLwYN6cL6J7Q8vXt8n1WkotCoThcrZYLa5WhUThH+mjvlhU+JX4sd7F2wmpeDpfaKpH/aidnMavsHwXU3PL2X/6QY+cbvhuVLeO+RWZpmg2xbA8LmrlRZXXXX

cluster.conf MX2

master: 1
fingerprint 25:46:A1:5F:7D:40:59:A5:B8:24:85:10:C7:AC:83:89:0C:7D:88:2D:1F:E2:69:7A:F1:38:2C:04:F2:FF:XX:XX
hostrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDS3FWD5LaaM1StV2l7XjPor+d6kXYjVOe6f4yYmgvojG43PgJagcQTSJ14wp/NHGLAXjNpUwX64p+Oh1KNcEqywZjuKZHTt3gVNNQ4Z64C2fDjdxwM8VD7WfKsdC1+8VZrkf9x/rnc3AHkjM3bk8taAdWvrJiieDMrVGMB4DgTyPlVMKT5zw8Eymlwux6/NOjGebBJU8VjCPXpT/dkXcgrn8kWjNDqrQg9/c+Uo0MBs2wcVx61CT9ndbLhFLYj9SD7M8o44+Ial6ffF1A++PyT5oLk9xkANhgbASvls7jVf6tE8WfcI8aJjwBZo94TrkMTZQpfy5nazuLxtJB+XXXX
ip 157.XX.XX.XXX
maxcid 2
name mx1
rootrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDP38OiCfk2Q5FARANkVv632O8F+WrLRR+5SDy/57ql0+JN4WSuF4TLEtu3y+P1ibX1z3AgGI3ZKFFv/PXHDxusLAup+ZRCxoSb0PI5SzMhc5w/kjLr4ydmxkdA9WswLmngdA627YqYyV5I5h0lfZnV2cJRB6k/2Kbb15OSLuWS4HfSvPxWdkPg0TSEjaJmV52Bb+hFl+NN6Q66chaqyHwY+IBWSZW6SGpAZ/78MT0Tm7NGXwpt8uXMoun1GjVYfaWlFJX1BBqwrmXLwb2w5h5Au+OyJiVDLjB2tQOctWIu5j6TMvVKZ4tVhNH8LD5ttDYIHsLtDqzwVrqQG1OFXXXX

node: 2
fingerprint F3:2B:8B:070:B0:91:60:6C:E5:BF88:2A:89:788:8E:B3:0F:36:4F:1D4:28:9E:7B:BB:75:27:XX:XX
hostrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDO7IEMRZHHClGms3cP2u7LWvaW4JN9CKRbfot6W4sdv/46nxAvo95zgR/giXVIT+ZU2woUYYUUagks1wi51X9cC+Bx5IETmYuU5nTTWpm9u6pbhoxtSbhULyWlRvMf+8y6K209ZcbAXXgXobwJHqoCAqgCbTG5yhTzR/som7Mvxmp4YATVSO6UulkYJrY32fPI2ZiB8KO49DLhQ8dTtQgX9fqmTEizmjWkJT5ZhTfAlCQdTR23dEjHbSB6CvbE4Te0O8UKQ3qXFDC+gCpbpfnOJuUH8LaO2Te7l1mXBN4XvAXf/UkHhjdvPcyMaN77aXgm+cbfJjhAyQDWivPEXXXX
ip 188.XX.XXX.XXX
name mx2
rootrsapubkey AAAAB3NzaC1yc2EAAAADAQABAAABAQDEU9uCRHqJ3OgcHJNaoE7Q36cNy/kBDIL2olzVUKfpTwtqLCEVnrpmhQSs/ytgVGGpZQJcYhyDszaGLG+zL8biFTTGrJ0Vpq2tHK5YVuezXZS8w4+eNyTZy88AMx1BK8TaIjCJZaZGxlCjVFDIVYY6+vVi1GFqkHJ+c+/dm60DJCDI/RJYwocfH2p+4gPr8zVMQbrqX/VZgLzAcma8UPQrA8BXEiDYLwYN6cL6J7Q8vXt8n1WkotCoThcrZYLa5WhUThH+mjvlhU+JX4sd7F2wmpeDpfaKpH/aidnMavsHwXU3PL2X/6QY+cbvhuVLeO+RWZpmg2xbA8LmrlRZXXXX

Aktuelle Ausgabe du -smc /var/spool/pmg/*:


root@mx1:~# du -smc /var/spool/pmg/*
1 /var/spool/pmg/active
1 /var/spool/pmg/attachment
1 /var/spool/pmg/cluster
1 /var/spool/pmg/spam
1 /var/spool/pmg/virus
1 total
root@mx1:~#


root@mx2:~# du -smc /var/spool/pmg/*
1 /var/spool/pmg/active
1 /var/spool/pmg/attachment
1 /var/spool/pmg/cluster
1 /var/spool/pmg/spam
1 /var/spool/pmg/virus
1 total

Hinzugefügt wurde der MX2 über die Weboberfläche via beitreten und hinzufügen.

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

Ich wuerde vorschlagen, den mx2 einmal aus dem cluster zu entfernen:

pmgcm delete 2

nachher auf mx2 die /etc/pmg/cluster.conf entfernen
danach die node wieder über die Weboberfläche hinzufügen.

 

[RichBone]

Hallo

auch schon probiert, Problem besteht weiterhin....

Mit freundlichen Grüßen
Martin Krüger

 

[Stoiko Ivanov]

Ich glaube ich habe das Problem nachgestellt - der Ursprung bei mir ist, dass die cluster.conf eine zu niedrige maxcid (maximale cluster node id) beinhaltet:
* diese wird bei jedem node-join inkrementiert und in der datenbank (quarantaene, clustersyncinfo, statistik) als teil des primary key verwendet...
* Ich wuerde mal versuchen diesen Wert hoeher zu setzen: einfach mal in /var/spool/pmg/cluster schauen - die verzeichnisse dort sollten jeweils bei einem join fuer die neue node angelegt werden - wenn die hoechste zahl in /var/spool/pmg/cluster z.b. 3 ist, dann die maxcid in der cluster.conf auf 3 setzen und danach die node wieder joinen (vorher pmgcm delete, und auf der node die cluster.conf loeschen, danach via GUI wieder joinen)

Das erklaert glaube ich auch warum der sync 5-7 Tage dauert: dieser bricht wegen Datenbank fehlern (unique constraint violation) ab - bis die relevanten Daten aus der Datenbank geloescht werden (z.b. weil die Quarantinelifetime so lange eingestellt ist)

Ich hoffe das hilft!

 

[RichBone]

Hallo

Danke werde ich probieren.

Mit freundlichen Grüßen
Martin Krüger