Richtige Konfiguration

Freaky

Member
May 17, 2018
17
0
6
37
Einen schönen guten Morgen :)

wer hat die Gateway produktiv im Einsatz??
Wir haben die Gateway in unseren E-Mail Dienst implementiert und diverse Einstellungsversuche gemacht damit Proxmox Spam korrekt aussortiert. Leider funktioniert es nicht 100 Prozentig da z.B. Absender die auf der Whitelist stehen, trotzdem in Quarantäne landen.

Es wurde auch zu beginn eine komplette Lernphase mit Spammails aus eigenen Postfächern und mit Untrubled.org gemacht. Andersherum mit Nicht-Spam-Mails ebenfalls.

Nun ist die Frage wie man das System richtig konfiguriert damit Spams korrekt aussortiert werden, White- und Blacklisten berücksichtigt werden und die Regeln mit definierten Spam-Levels beachtet werden...

Ich bedanke mich schonmal im voraus für Tipps und Gedankenanstöße.

Gruß Alex
 
Hallo,

schau mal in mein Thread Feature Request, ich habe da einige Anpassungen gemacht. Untroubled steht auf der Website läuft aus, zudem habe ich nun mit sa-learn schlechte Erfahrungen gemacht und habe nun das ganze zurückgedreht, dokumentiere das gleich im Thread.

Grüße,
Christian
 
  • Like
Reactions: Freaky
Klasse Danke werde es mir ansehen :)

Bzgl der Einstellungen habe ich alles Standardmäßig belöassen nur dir Prio der Whitelist höher gesetzt.
 
Also White- und Blacklists habe ich nicht im Einsatz (außer Netzwerk-Whitelists, da ist die Telekom drin, weil diese es immer wieder schafft, auf eine Blacklist zu kommen). Aber das tagging funktioniert inzwischen richtig gut, habe gerade meine Updates abgeschlossen, echt prima gerade. Mal weiter beobachten. Ein Feldversuch habe ich noch ansonsten (rspamd).
 
  • Like
Reactions: Freaky
Guten Morgen,

werde mich mal an dein Thread werfen und eine Test Gateway aufbauen. Was mir jedoch fehlt ist ein Link:
11 wget ... (external links not allowed) dcc-dccproc.tar.Z
 
Danke für den Hinweis, habe bis eben nach dem Thread eine neue Gateway eingerichtet und werde sie am Sonntag in den Mailbetrieb integrieren sobald die Tests erfolgreich waren.
 
Die Gateway arbeitet nun viel besser. Hut ab für die tolle Gerschreibung. Sie ist wirklich Goldwert. :)

Es gibt dennoch ein Problem beim Updaten der Spamdatenbank über das Webinterface sowie über sa-update... Folgende Meldung kommt rtein:

Update available for channel updates.spamassassin.org: 1831759 -> 1831880
config: failed to parse line, skipping, in "/etc/mail/spamassassin/init.pre": I added to the end of the /etc/pmg/templates/init.pre.in as followed:
plugin: failed to parse plugin (from @INC): Can't locate Mail/SpamAssassin/plugin/pyzor.pm in @INC (you may need to install the Mail::SpamAssassin::plugin::pyzor module) (@INC contains: lib /usr/share/perl5 /etc/perl /usr/local/lib/x86_64-linux-gnu/perl/5.24.1 /usr/local/share/perl/5.24.1 /usr/lib/x86_64-linux-gnu/perl5/5.24 /usr/lib/x86_64-linux-gnu/perl/5.24 /usr/share/perl/5.24 /usr/local/lib/site_perl /usr/lib/x86_64-linux-gnu/perl-base) at (eval 107) line 1.

plugin: failed to parse plugin (from @INC): Can't locate Mail/SpamAssassin/plugin/RelayCountry.pm in @INC (you may need to install the Mail::SpamAssassin::plugin::RelayCountry module) (@INC contains: lib /usr/share/perl5 /etc/perl /usr/local/lib/x86_64-linux-gnu/perl/5.24.1 /usr/local/share/perl/5.24.1 /usr/lib/x86_64-linux-gnu/perl5/5.24 /usr/lib/x86_64-linux-gnu/perl/5.24 /usr/share/perl/5.24 /usr/local/lib/site_perl /usr/lib/x86_64-linux-gnu/perl-base) at (eval 108) line 1.

Lint of site pre files failed, cannot continue
Update failed, exiting with code 2
TASK OK

Habe es via SSH versucht und es erscheint die gleiche Meldung in Schwarz. Weiß jemand zufällig woran das liegt? Bin deinen Thread mehrmals durchgegangen um evtl, Fehler meiner Seits zu verbessern aber soweit ist alles korrekt eingestellt. Jedoch erscheint der Fehler :(
 
Last edited:
Also für mich hört sich das so an, als sei Pyzor nicht installiert worden und RelayCountry ebenfalls nicht. Daher kann er die nicht finden und daher schlägt das Update fehl.

Code:
# This is the right place to customize your installation of SpamAssassin.
#
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
# This file contains plugin activation commands for plugins included
# in SpamAssassin 3.0.x releases.  It will not be installed if you
# already have a file in place called "init.pre".
#
###########################################################################

# RelayCountry - add metadata for Bayes learning, marking the countries
# a message was relayed through
#
# loadplugin Mail::SpamAssassin::Plugin::RelayCountry


loadplugin Mail::SpamAssassin::Plugin::URIDNSBL


# Hashcash - perform hashcash verification.
#
loadplugin Mail::SpamAssassin::Plugin::Hashcash


loadplugin Mail::SpamAssassin::Plugin::SPF


# always load dkim to improve accuracy
loadplugin Mail::SpamAssassin::Plugin::DKIM

loadplugin Mail::SpamAssassin::Plugin::Pyzor
use_pyzor 1

loadplugin Mail::SpamAssassin::Plugin::DCC
dcc_path /usr/local/bin/dccproc
dcc_home /var/dcc
dcc_dccifd_path /var/dcc/dccifd
dcc_body_max 999999
dcc_fuz1_max 999999
dcc_fuz2_max 999999
use_dcc 1
dcc_timeout 10

loadplugin Mail::SpamAssassin::Plugin::RelayCountry

sollte die init.pre.in aussehen, schau auch, ob die Dateien da sind:

root@mg:~# find / -name "RelayCountry.pm"

/usr/share/perl5/Mail/SpamAssassin/Plugin/RelayCountry.pm




root@mg:~# find / -name "Pyzor.pm"

/usr/share/perl5/Mail/SpamAssassin/Plugin/Pyzor.pm


Pyzor scheint bei Dir auch klein geschrieben, daher findet er es womöglich nicht.
 
  • Like
Reactions: Freaky
Klasse, Danke für deine Hilfe :). Habe die init.pre.in nach deinem Thread nun verbessert und man siehe da es geht :)

Was mir nun auffällt ist dass das System Spammails viel besser aussortiert als vorher. Daumen hoch für deine Arbeit :)
 

Attachments

  • Screenshot_1.png
    Screenshot_1.png
    14.1 KB · Views: 29
Gerne, ich habe meinen Thread gerade noch mal aktualisiert, hatte da ja auch hier und da mal zurückgerudert (bspw. mit dem anlernen von Spam), so dass er womöglich unübersichtlich ist und alles jetzt noch mal chronologisch wie final rein mit Code auch die jeweiligen Quellcodes, kann dann gerne noch mal abgeglichen werden. ;-)
 
  • Like
Reactions: Freaky
Weitere Tests folgen später mal mit rspamd und ggf. noch mit anderen Virenscannern, mehr kann ich aber derzeit nicht tun. Ich habe auf der dev-Mailingliste mal meine gesammelten Wünsche geschrieben, bin mal gespannt, ob Proxmox 6.0 einiges davon übernehmen wird. ;-)
 
  • Like
Reactions: Freaky
Alles klar, werde es weiterhin beobachten und mit am geschehen teilnehmen.

Bzugl Spam Learning.... Nutzt du eine seperate SApamdatenbank als untrubled.org? In einem andeream Thread warst du weniger von untrubled überzeugt.
 
Bezüglich Spam Learning, also das lässt sich in deutsch durchaus etwas besser ausdrücken, daher hier die Langfassung: Ich habe zunächst mal untroubled.org mir angeschaut, aber diese "Datenbank" ist wohl mehr im englischsprachigen Raum verdrahtet, so dass es für "deutschen Spam" wohl weniger passt, zudem wurde ja angekündigt, dass im April 2018 die primäre Spam Source abgeschaltet werden würde und die Archive wohl weniger zu gebrauchen seien. Daher habe ich mich auf artinvoice.hu gestürzt, mit dem Hintergedanken, europäisch und in Ungarn landen ggf. ja auch ein paar deutschsprachige Spams. Leider musste ich aber feststellen, das hatte ich zuvor auch schon woanders gelesen, aber erst mal fürs erste verworfen, dass damit die bayesschen Ergebnisse sehr schlecht waren. Warum, naja, weil "mein Spam" und "deren Spam" halt nun mal ein anderer ist und damit "mein Spam" teilweise mit BAYES_00 oder kaum härter klassifiziert wurde, weil "deren Spam" ja viel spammiger ist. Ja, ich habe mich schon erst mal gefreut, dass auch endlich BAYES_ im Tagging auftauchte, aber gebracht hat es mir nichts. Daher habe ich nach der Erkenntnis die Datenbank "gecleared" und das automatische Einlesen von Fremdspam rausgenommen. Damit wird es wohl leider bei meiner für privat gedachten Installation noch einige Zeit dauern, bis ich wirklich über die autolearns (ham schon öfter, aber quasi kaum spam) mal endlich bayessche Ergebnisse sehen werde, aber dann sind sie wenigstens brauchbar, im kommerziellen Test könnte es schon schneller passieren, ggf. kann man sogar die Datenbank "rüberkopieren", wobei mein Geschäftsspam und mein privater Spam eigentlich auch schon wieder ganz anders sind. Insoweit würde auch der Vorschlag vermutlich wenig bringen, wenn es für alle Proxmox-Subscriber eine zentrale Spamdatenbank gäbe, ja, ein wenig hilfreich vielleicht, aber eben trotzdem wieder "anderer Spam" als der "eigene Spam".

Insoweit würde ich einfach in einem produktiven Setup etwas Geduld beweisen und auf eigenes Tagging warten, ehe ich mir was fremdes einladen würde. Wenn die Quarantäne genutzt wird (ich bin da kein Fan von, ich tagge lieber) kann durch ein- und aussortieren von Spam sicherlich sogar die Qualität erhöht und die Erkennung beschleunigt werden, leider habe ich hier derzeit keine Integration zwischen dem Ziel bzw. den Zielsystemen und PMG, wäre aber eine Option, das später mal per API zu programmieren, dass man falscherkannte Mails selbst wieder "einkippen" und entsprechend anlernen kann.

Apropos kommerzielle Nutzung, bitte dran denken, dass ich in meinen Anleitungen davon ausgehe, dass ich den Gateway wohl auch ohne PMG-Subscription rein privat nutzen werde und mit PMG-Subscription kommerziell (wobei ich ihn dazu neu aufsetzen werde, da ich keine Downgrades der Pakete jetzt von den Tests ohne Subscription machen möchte), jedoch in beiden Fällen nur "für mich" bzw. für die Firma mit entsprechend niedrigen Quotas. Die diversen Blacklists (für Barracuda muss man sich ja eh registrieren), Signaturerweiterungen wie auch beispielsweise DCC erfordern bei kommerzieller Nutzung jenseits der üblichen Quotas (meist so um die 100.000 Mails pro Tag) oder im Rahmen eines (kommerziell) angebotenen Antispam-Dienstes eine Lizenz. Das kann recht schnell teuer werden, kann aber auch die Erkennungsquoten verbessern, ich hatte das mal angeboten, der Feed von Zen war da flotter, bei URIBL hatte man weitere Zones (die Gold Zone bspw.), durch eigene Datafeeds bzw. rsyncs der Datafeeds hatte man weniger Aussetzer, wenn mal die DNS-Auflösung muckt, man muss nur darauf achten, irgendwo sind da Open Source auch die Grenzen gesetzt.
 
Okay bzgl Untrubled verstehe ich dich warum es nicht genutzt werden sollte.

Bzgl der Gateway ... Sie ist optimal um einen Mailserver abzulösen. Sprich Aufgaben aufteilung. Es ist in Planung ein Sub-Key zu erwerben. Arbeit muss schließliuch belohnt werden. Die Idee eine seperate Gateway zu nutzen die den ganzen "Müll" vernhält ist eine Klasse Idee.

Bin gespannt wie das Setup nun funktionieren wird und ob es nun so funktioniert wie es soll.

Danke dir für deine ausführliche Erklärung :)
 
Ein entsprechendes Setup habe ich auch. Sowohl privat wie kommerziell. Privat ist dahinter ein Plesk, welches die Mails dann entweder weiterleitet oder zustellt und über welches auch gemailt wird (über Submission Port). Damit da auch wirklich kein Spam sonst ankommt (ursprünglich kam da auch weiterhin Spam an, weil es so ein paar "Idioten" gibt, die einfach den MX umgehen und versuchen, auf dem entsprechenden Server direkt zuzustellen, auf dem auch die eigentlich Domain läuft) ist auf dem Plesk nur dem Mail Gateway über die Firewalleinstellungen erlaubt, Mails auf Port 25 bzw. 465 anzuliefern, ausgehende Mails gehen wie gesagt über den Submission Port.

Da ich dahinter auch einen Exchange einsetze (hosted), kann ich leider ausgehende Mails nicht über PMG auch wieder ausleiten, sonst würde ich das auch tun, wobei ich in dem Fall DKIM vermissen würde. Plesk hat auch einen SpamAssassin als mögliches Plugin, jedoch hat hier in der Übersichtlichkeit, Statistiken usw. PMG einfach mehr zu bieten. Ich komme bei diesem Setup auch ohne Subscription aus, an sich ist das Filtern auf dem PMG reiner Spaß und aus Bequemlichkeit, denn ich fahre dahinter noch zwischen Plesk und Exchange weitere Antispam-Services, deren Qualität kann ich bei der Gelegenheit gleich mit testen.

Kommerziell geht es danach in ein Secure Mail Gateway, welches leider auch keine so hochwertige Antispam-Lösung hat (derzeit, wird ggf. ersetzt werden), hier könnte ich auch ausgehend dann durch PMG leiten, das werde ich dann noch testen und hier wird es dann auch eine Lizenz für geben. Auch hier wird eine alternative Zustellung dann unterbunden werden, um sicher zu gehen, dass die Mails auch wirklich nicht am Gateway vorbei laufen.

Macht schon Sinn, das aufzuteilen.

rspamd könnte halt noch bessere Quoten haben, ich weiß es noch nicht, viele schwören ja da drauf. An sich im Gegensatz zu einigen Antispam-Services wirft PMG schon viel Schrott weg, die RBL sind auch recht gut, ich nutze diese schon jahrelang, NiX Spam hat mich hier leider derzeit massiv enttäuscht, ansonsten im tagging kann man halt nur so viel machen, wie die Regeln hergeben, KAM seitens PMG ist sehr angesehen, die anderen Regelwerke auch, DCC, Pyzor, GeoIP, das Extremeshock MailFrom sind alles weitere Empfehlungen, am Schluss bleibt maximal eine persönliche Anpassung der Scores. Oder was es auch noch gibt, ein eigener Honeypot, an sich hätte ich eine ganze Domain nur mit Schrott, die man dafür nutzen könnte, mal schauen, ist eine ganz nette Spielwiese, das ganze Thema Antispam.
 
Bzgl rspamd werde kich mal eine Testphase fahren und das "Gerüst" unseres E-Mail Systems nutze´n und testen. Hatte schon öfters gelesen dass rspamd bessere Arbeit als Spamassassin abgenen soll. Mir stellt sich nun die Frage ob rspamd mit Spamassassin bei Proxmox so einfach auszutauschen ist...
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!