PMG Tracker Center Timeout

RichBone

RichBone

Well-Known Member
Proxmox Subscriber
Mar 13, 2018
45
2
48
40
Deutschland
www.systemhaus-ehst.de
Hallo

wir haben seit neusten das Problem das beim Master das PMG Tracking Center ins Timeout läuft, auf dem 2 Node vom Cluster läuft es.

Aktuelle Versionen:

proxmox-mailgateway: 7.3-1pmg-api: 7.3-4
pmg-gui: 3.3-2pve-kernel-5.15: 7.4-3
pve-kernel-helper: 7.3-8
pve-kernel-5.13: 7.1-9
pve-kernel-5.4: 6.4-5
pve-kernel-5.15.107-2-pve: 5.15.107-2
pve-kernel-5.15.104-1-pve: 5.15.104-2
pve-kernel-5.13.19-6-pve: 5.13.19-15
pve-kernel-5.13.19-2-pve: 5.13.19-4
pve-kernel-5.4.128-1-pve: 5.4.128-1
pve-kernel-5.4.30-1-pve: 5.4.30-1
clamav-daemon: 0.103.8+dfsg-0+deb11u1ifupdown: 0.8.36+pve2
libarchive-perl: 3.4.0-1
libjs-extjs: 7.0.0-1
libjs-framework7: 4.4.7-1
libproxmox-acme-perl: 1.4.4
libproxmox-acme-plugins: 1.4.4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.4-1
libpve-http-server-perl: 4.2-3
libxdgmime-perl: 1.0-1
lvm2: 2.03.11-2.1
pmg-docs: 7.3-2pmg-i18n: 2.12-1
pmg-log-tracker: 2.3.2-1
postgresql-13: 13.11-0+deb11u1
proxmox-mini-journalreader: 1.3-1
proxmox-offline-mirror-helper: 0.5.1-1
proxmox-spamassassin: 4.0.0-2
proxmox-widget-toolkit: 3.7.0
pve-firmware: 3.6-5pve-xtermjs: 4.16.0-2
zfsutils-linux: 2.1.11-pve1

Die beiden Syslogs werden mittels Cronjob vom Node zum Master geholt:

cat /var/log/mail.log | grep --binary-file=text -E 'postfix' > /tmp/mail.log
ssh root@mx2 -o ConnectTimeout=2 -o ConnectionAttempts=1 'cat /var/log/mail.log | grep --binary-file=text -E postfix' >> /tmp/mail.log
cat /tmp/mail.log | sort -M > /tmp/mail-2.log
uniq /tmp/mail-2.log /tmp/mail.log

lief bis zum Update auf 7.3.4 ohne Probleme.

Master und Node wurden bereits neugestartet und sind laut Cluster Aktiv verbunden.

Mit freundlichen Grüßen
Martin Krüger
 
RichBone said:
cat /var/log/mail.log | grep --binary-file=text -E 'postfix' > /tmp/mail.log
ssh root@mx2 -o ConnectTimeout=2 -o ConnectionAttempts=1 'cat /var/log/mail.log | grep --binary-file=text -E postfix' >> /tmp/mail.log
cat /tmp/mail.log | sort -M > /tmp/mail-2.log
uniq /tmp/mail-2.log /tmp/mail.log
Click to expand...
mit diesem script/code gehen doch recht viele relevante informationen verloren ... pmg-smtp-filter z.b. - sprich das würde ich so nicht machen.

(Ist auch kein wirklich supportetes setup)

wie genau äußert sich das timeout - was für ein Fehler kommt in der GUI, gibt es logs die den Fehler aufzeigen?
 
Hallo

welche Lösung bietet Proxmox damit die Logs Syncron auf dem Master angezeigt werden?

Der Fehler wurde gefunden und behoben, Logs werden nun wieder angezeigt.

Mit freundlichen Grüßen
Martin Krüger
 
RichBone said:
welche Lösung bietet Proxmox damit die Logs Syncron auf dem Master angezeigt werden?
Click to expand...
Derzeit müssen die logs auf der jeweiligen Node angesehen werden.

Aber ich würde es da eher mit remote syslogging (per udp, potentiell über einem VPN tunnel) versuchen.

Freut mich, dass ihr den Fehler gefunden habt.
 
@Stoiko Ivanov

Welche Informationen gehen den verloren? sind durch unser Script die Logs etwa nicht vollständig?

Ist das Thema Logs im nächsten Release bereits angegangen worden?

Mit freundlichen Grüßen
Martin Krüger
 
RichBone said:
Welche Informationen gehen den verloren? sind durch unser Script die Logs etwa nicht vollständig?
Click to expand...
Ich habe das setup jetzt zwar nicht nachgestellt - aber auf den ersten blick würde es mich wundern wenn die logs von pmg-smtp-filter (die ja durchaus relevante informationen beinhalten (z.b. welche Regeln welche Actions setzen) auch auf der Zielnode ankommen...

RichBone said:
Ist das Thema Logs im nächsten Release bereits angegangen worden?
Click to expand...
Derzeit noch nicht - sprich ich nehme an es wird frühestens mit 8.1 aufgenommen werden (aber auch hier keine Garantien)
 
Hallo

ich sehe die gleichen Informationen vom MX2 auf dem MX1 wo die Ausgabe erfolgt:

Jun 16 08:18:26 mx2 postfix/smtpd[1615761]: connect from unknown[77.XX.16.XX]
Jun 16 08:18:26 mx2 postfix/smtpd[1615761]: NOQUEUE: reject: RCPT from unknown[77.XX.16.XX]: 450 4.7.25 Client host rejected: cannot find your hostname, [77.XX.16.XX]; from=<rosemary.XXXXX@3.lydian-XXXXX> to=<XXXXX@XXXXX.de> proto=ESMTP helo=<XX-XX.77-XX-16-XX.plesk.page>
Jun 16 08:18:26 mx2 postfix/smtpd[1615761]: disconnect from unknown[77.XX16.XX] ehlo=2 starttls=1 mail=1 rcpt=0/1 data=0/1 rset=1 quit=1 commands=6/8

Wegen den Logs weiß ich Bescheid, solange wird ja das Script funktionieren.

Mehr möchte ich auch garnicht sehen.

Mit freundlichen Grüßen
 
RichBone said:
un 16 08:18:26 mx2 postfix/smtpd[1615761]: connect from unknown[77.XX.16.XX]
Jun 16 08:18:26 mx2 postfix/smtpd[1615761]: NOQUEUE: reject: RCPT from unknown[77.XX.16.XX]: 450 4.7.25 Client host rejected: cannot find your hostname, [77.XX.16.XX]; from=<rosemary.XXXXX@3.lydian-XXXXX> to=<XXXXX@XXXXX.de> proto=ESMTP helo=<XX-XX.77-XX-16-XX.plesk.page>
Jun 16 08:18:26 mx2 postfix/smtpd[1615761]: disconnect from unknown[77.XX16.XX] ehlo=2 starttls=1 mail=1 rcpt=0/1 data=0/1 rset=1 quit=1 commands=6/8
Click to expand...
das ist eine mail die direkt von postfix (Mail Proxy) rejected wurde .. (weil reject unknown client aktiviert ist) - sprich die wurde gar nicht vom regelsystem gesehen - daher auch keine logs von dem service zu dieser mail...
 
Hallo

anbei ein anderer Auszug vom MX1 Tracking Center:

Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: connect from mail-s1.XXXX.de[XX.XX.XX.XXX]
Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: NOQUEUE: client=mail-s1.XXXX.de[XX.XX.XXX.XXX]
Jun 17 13:48:57 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: new mail message-id=<01000188c92fb9c1-64acc6be-8bfa-45a2-8147-1cfc09b047af-000000@email.amazonses.com>#012
Jun 17 13:48:58 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: SA score=0/5 time=0.856 bayes=0.00 autolearn=no autolearn_force=no hits=AWL(1.047),BAYES_00(-1.9),DCC_CHECK(1.1),DKIM_SIGNED(0.1),DKIM_VALID(-0.1),DKIM_VALID_AU(-0.1),DMARC_PASS(-0.1),HTML_FONT_LOW_CONTRAST(0.001),HTML_MESSAGE(0.001),SPF_FAIL(0.001),SPF_HELO_FAIL(0.001),T_KAM_HTML_FONT_INVALID(0.01),T_SCC_BODY_TEXT_LINE(-0.01),URIBL_BLOCKED(0.001)
Jun 17 13:48:58 mx2 postfix/smtpd[2659408]: connect from localhost.localdomain[127.0.0.1]
Jun 17 13:48:58 mx2 postfix/smtpd[2659408]: 8D19F5E0491: client=localhost.localdomain[127.0.0.1], orig_client=mail-s1.systemhaus-ehst.de[51.75.145.206]
Jun 17 13:48:58 mx2 postfix/cleanup[2659409]: 8D19F5E0491: message-id=<01000188c92fb9c1-64acc6be-8bfa-45a2-8147-1cfc09b047af-000000@email.amazonses.com>
Jun 17 13:48:58 mx2 postfix/qmgr[1760]: 8D19F5E0491: from=<01000188c92fb9c1-64acc6be-8bfa-45a2-8147-1cfc09b047af-000000@bounce.academia-mail.com>, size=36911, nrcpt=1 (queue active)
Jun 17 13:48:58 mx2 postfix/smtpd[2659408]: disconnect from localhost.localdomain[127.0.0.1] ehlo=1 xforward=1 mail=1 rcpt=1 data=1 commands=5
Jun 17 13:48:58 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: accept mail to <XXX.XXX@gmail.com> (8D19F5E0491) (rule: default-accept)
Jun 17 13:48:58 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: processing time: 0.984 seconds (0.856, 0.055, 0)
Jun 17 13:48:58 mx2 postfix/smtpd[2659398]: proxy-accept: END-OF-MESSAGE: 250 2.5.0 OK (5E029C648D9DA99C162); from=<01000188c92fb9c1-64acc6be-8bfa-45a2-8147-1cfc09b047af-000000@bounce.academia-mail.com> to=<XXX.XXX@gmail.com> proto=ESMTP helo=<mail-s1.XXXX.de>
Jun 17 13:48:58 mx2 postfix/smtpd[2659398]: disconnect from mail-s1.XXXX.de[XX.XX.XXX.XXX] ehlo=2 starttls=1 mail=1 rcpt=1 data=1 quit=1 commands=7
Jun 17 13:48:59 mx2 postfix/smtp[2659410]: 8D19F5E0491: to=<XXX.XXX@gmail.com>, relay=gmail-smtp-in.l.google.com[2a00:1450:400c:c03::1a]:25, delay=0.53, delays=0.05/0.01/0.13/0.33, dsn=2.0.0, status=sent (250 2.0.0 OK 1687002539 r12-20020a5d494c000000b0031120b9f819si1992409wrs.218 - gsmtp)
Jun 17 13:48:59 mx2 postfix/qmgr[1760]: 8D19F5E0491: removed

Dort sind auch die Informationen vom PMG-SMTP-Filter.

Mit freundlichen Grüßen
Martin Krüger
 
scheint so - dennoch würde es mich wundern es mich wenn:
Code: 
cat /var/log/mail.log | grep --binary-file=text -E 'postfix'
diese Informationen auf mx2 ausspuckt (kann auf der command-line getestet werden)
 
Hallo

da aber min. ein Postfix Eintrag vorhanden ist siehe:

Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: connect from mail-s1.XXXX.de[XX.XX.XX.XXX]
Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: NOQUEUE: client=mail-s1.XXXX.de[XX.XX.XXX.XXX]
Jun 17 13:48:57 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: new mail message-id=...

gehen die Informationen nicht verloren.

Mit freundlichen Grüßen
Martin Krüger
 
RichBone said:
Jun 17 13:48:58 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: SA score=0/5 time=0.856 bayes=0.00 autolearn=no autolearn_force=no hits=AWL(1.047),BAYES_00(-1.9),DCC_CHECK(1.1),DKIM_SIGNED(0.1),DKIM_VALID(-0.1),DKIM_VALID_AU(-0.1),DMARC_PASS(-0.1),HTML_FONT_LOW_CONTRAST(0.001),HTML_MESSAGE(0.001),SPF_FAIL(0.001),SPF_HELO_FAIL(0.001),T_KAM_HTML_FONT_INVALID(0.01),T_SCC_BODY_TEXT_LINE(-0.01),URIBL_BLOCKED(0.001)
Click to expand...
Diese Zeile enthält (wenn ich mich nicht verlesen habe) nicht die Zeichenkette postfix (nach der grep sucht ... )
 
Hallo

ist richtig aber, der erste Eintrag vom Log:

Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: connect from mail-s1.XXXX.de[XX.XX.XX.XXX]
Jun 17 13:48:57 mx2 postfix/smtpd[2659398]: NOQUEUE: client=mail-s1.XXXX.de[XX.XX.XXX.XXX]
Jun 17 13:48:57 mx2 pmg-smtp-filter[2646472]: 5E029C648D9DA99C162: new mail message-id=...

Enthält Postfix und somit wird diese komplett mit übernommen.

Gerne kann ich Ihnen das zusammen gestellte Log mal zur Verfügung stellen, damit Sie sehen das es vollständig ist.

Mit freundlichen Grüßen
Martin Krüger
 
RichBone said:
ist richtig aber, der erste Eintrag vom Log:
Click to expand...
das ist nicht die art und weise wie grep funktioniert ... - siehe `man grep`

Wie gesagt - wenn es funktioniert - ist das doch gut - allerdings würde es mich wundern, wenn das oben gepostete script dies tut - aber da das ohnehin kein supportetes Skript ist kann ich nur mutmaßen, warum die logs dennoch hinkommen ...
 
Hallo

ich nehme alles zurück, habe gerade gesehen das das obige Script aktuell nicht verwendet wird sondern:

/usr/bin/pmg-log-tracker

folgenden Inhalt hat:

/usr/bin/pmg-log-tracker-default "$@" | head -n -1
ssh root@mx2 /usr/bin/pmg-log-tracker-default "$@" | sed '/^#/ d'

Deshalb wird es korrekt angezeigt.

Mit freundlichen Grüßen
Martin Krüger
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back