Spam Erkennung

marcobockelbrink

New Member
Aug 10, 2018
11
1
1
46
Hallo Proxmoxer :)

WIr haben seit einiger Zeit das Mail GW mit Subscription am laufen und die Spam Erkennung ist eher "bescheiden". Standard Spam Viagra mit Bilder etc kommt komplett durch. Was habt ihr denn noch alles gemacht damit die Erkennung besser wird? DNSBL? Oder hat jemand noch ein paar Kniffe parat?

Gruß
marco
 
große mails werden übersprungen, das kann man steuern mit der "Message Size" option -> Configuration -> Mail Proxy -> Options -> Message Size

edit: sry, falsche mesage size

Configuration -> Spam Detector -> Options -> Max Spam Size
 
Hi

danke. Steht auf 100 MB. So groß sind die Mails nicht :) Nutzt jemand DNSBL.? Ist die Erkennunsrate damit höher?

Gruß
Marco
 
Hi,

schau einfach mal bei meinem Advancing-Thread vorbei. Ich habe da einige Tweaks vorgenommen und würde mich natürlich freuen, wenn Proxmox ein paar der Dinge übernehmen würde. In Kurzform:

1. Wichtig ist ein funktionierender DNS-Server, wenn der angegebene ein ISP-DNS-Server oder sonstiger allgemeiner (Google, CloudFlare, Quad9 o. Ä.) ist, wird der URL-Filter schon mal nicht funktionieren und Razor2 vermutlich ebenso wenig.
2. Man kann (muss aber nicht) auch Pyzor und DCC hinzufügen, DCC könnte Proxmox aber leider erst mit einer Subscription anbieten, denn man darf diesen ohne Lizenz nicht mit einem Gateway bündeln, wird also entweder manuelle Arbeit bleiben oder vielleicht mal ein optionales Feature.
3. Natürlich helfen DNSBL deutlich und seit dem letzten Update kann man auch ein Setup mit Threshold verwenden (da manche Blacklists nicht wirklich sicher laufen, leider fällt da inzwischen sogar die NiX-Spam-DNSBL betrieben von manitu drunter (false-positives bspw. Facebook, Pinterest, GetPocket, ...). Ich habe da derzeit noch ein paar Tests am Laufen, aber es wird wohl final das Set werden, was ich auch gepostet habe. Die nicht ganz so guten Blacklists werden zusätzlich dann auch zum Scoring verwandt. Auch kann man DBL zusätzlich verwenden.
4. Dann kann man weiter optimieren, indem man Spamregeln importiert, die Länderherkunft mit analysiert und wenn man dann das ganze auch noch kompiliert, wird der eingebaute SpamAssassin deutlich performanter.
5. Man kann auch den ClamAV mit weiteren Signaturen versorgen (wieder eine mögliche Option für eine Subscription, denn die wohl stärksten Signaturanbieter hierbei bieten sowohl kostenlose, etwas langsamer und schwächer versorgte, wie auch kostenpflichtige, aktuellere und umfangreichere, Listen an, die sicherlich eine gute Option in einem Bundle machen würden).
6. Dann macht natürlich ein regelmäßiges sa-learn von Spam und Ham, insbesondere Spam, einiges aus (mindestens jeweils 200, Ham kriegt man in der Regel von alleine zusammen über autolearn, man sollte nur false-positives explizit anlernen, Spam ist meist schwieriger und erfordert manuelles anlernen, bitte auf keinen Fall Archive oder CatchAll-Weiterleitungen anlernen, das verwässert den echten Spam und gefährdet damit eine zuverlässige Erkennung).
7. Wenn man dann soweit zufrieden ist mit der Erkennung, jedoch einen der "High Score Spam" nervt, der zwar ordentlich hoch bewertet wird, aber eben auch nicht von Quellen stammt, die man per DNSBL oder DBL ausfiltern kann (bspw. von legitimen großen Mailprovidern wie Google oder Mailservices wie Mailchimp und Co. versandt werden), kann man hier gegen nur ein "Doppelsetup" mit zwei SpamAssassin wählen, bei dem der eine über Milter aufgerufen wird und der zweite dann über PMG (so lange Proxmox ein Setup mit Postqueue (Content-Filter) statt Prequeue (Milter) fährt), mit o.g. Kompilierung fällt das aber versus dem normalen Setup ohne Kompilierung nicht wirklich ins Gewicht, man muss nur für gleiche AWL. und Bayes-Daten sorgen, und kann damit den "High Score Spam" ebenfalls rauswerfen. Seit ich das nun meinem Setup hinzugefügt habe und nach Abschluss eines funktionierenden sa-learn, also einer laufenden Bayesdatenbank, auch noch mal deutlich "härter" eingestellt habe, kann man den Spam mit der Lupe suchen.

Viel Erfolg!

Mit freundlichen Grüßen
Christian Heutger
 
Hi Christian,

danke für Deine Arbeit.

Allerdings wundere ich mich nun seit Jahren das die default Settings in PMG so - sagen wir - 'konservativ' sind.

Ich würde gerne mehrere Abos von dem PMG an meine Kunden verkaufen, allerdings brauche ich vermutlich noch ein halbes Jahr, damit es sowas wie (z.B.) einem Sophos SG Mailgateway halbwegs ebenbürtig ist, von der Scanerkennung.

Mit sowas kann man doch Geld verdienen! Alles zieht in die Cloud und Cloud ist vor allem eines: Teuer - auch i.d.R. teurer als das größte PMG Abo .

Gibts da nen Grund für die "Konservativität"?

VG
4920441
 
Ganz ehrlich? Da musst Du Dich wohl an die Leute hier von Proxmox wenden. @Stoiko Ivanov @dietmar usw.

Ich muss sagen, ich habe meinen PMG nach der damaligen sehr umfangreichen Konfiguration komplett neu aufgesetzt (da war einfach zu viel angepasst) und dabei etliche Einschränkungen bei den Anpassungen vorgenommen:

Keine Änderungen der Configs/Templates (mit kleineren Abstrichen, zu denen ich Bugs aufgemacht habe, dass das allgemein aufgenommen werden sollte, sehen auch einige andere so)
Kein Antivirus mehr (ClamAV ist an sich eh unbrauchbar, am Endpoint gibt es einen Virenschutz, das reicht an sich aus, die meisten Anbieter wollen eh keine Standalone-Antivirus-Lösungen mehr anbieten)
Ich habe mir zwischenzeitlich ein sehr gutes Set an Blacklists entwickelt, die ich begeistert nutze, eine davon ist grundsätzlich paid, aber ich kann sie nur empfehlen (gerne Kontakt herstellen und hatte auch schon vorgeschlagen, ob man diese nicht hier auch als Subscription Option aufnehmen wolle).
Ansonsten war ich doch sehr erstaunt, dass die neue Version wohl AWL und Bayes per default aus hat. Beides hat mir massiv viel gebracht, aber man muss sich halt die Arbeit machen, individuell den Spamfilter anzulernen. Das könnte per Integrationen in Outlook, ... durchaus vereinfacht werden, auch könnte man über die (unsägliche) Quarantäne anlernen.
Ein Feature würde immer noch massiv viel bringen, aber man scheint da wenig Interesse zu haben: Ein Conditional Greylisting. Das würde nachweislich einigen Spam abhalten, manchmal sind die Listen halt nicht ganz so schnell.
Sophos SG ist ja leider bald History, deren "Magie" besteht zuweilen aber auch in deren Listen, die nutzen bspw. auch UCEPROTECT, was ich persönlich hoch kritisch finde. Ansonsten machen die gar nicht so viel, man muss halt den PMG etwas konfigurieren. Warum das zuweilen nicht "out of the box" so kommt oder man so sehr zurückhaltend mit Optimierungen ist, wie gesagt, o.g. Ansprechpartner wären hier die richtigen.

EDIT: Wenn man sich "zutraut", die UCEPROTECT-Listen auch in dem von mir entwickelten Blacklist-Set zu nutzen, dürfte wohl wirklich kaum noch was durchkommen. Die sind wirklich hoch aggressiv.
 
Last edited:
  • Like
Reactions: magicpeter
Na ja, die einfachen Dinge umsetzen dauert wohl nur eine halbe Stunde, kein halbes Jahr.

=> https://pmg.proxmox.com/wiki/index.php/Getting_started_with_Proxmox_Mail_Gateway

Damit sind 99 % der User ganz zufrieden.

Sorry, in der Auflistung vergessen. Naja, also ich habe ja viel Resonanz auf meinem damaligen Thread erhalten. Auch wenn ich im Nachgang so einige Anpassungen nicht mehr machen würde, so hat sich die Erkennung neben einem super Set an Blacklists, das deutlich über den Default hinausgeht durch das aufwändige Anlernen von Bayes erst wirklich verbessert. Mein Neusetup hatte ich zunächst erst mal "out of the box" gefahren, da kam ziemlich viel durch, eigentlich alle "üblichen Verdächten", erst mit Blacklists und dann mit Import der Bayes- und AWL-Datenbanken wurde es wieder besser. Insoweit wundert mich, was das für User sind, vielleicht junge, wenig bekannte und verbreitete Domains/Mailadressen. Ich habe ja schon sehr alte und lange genutzte Domains, zuweilen war ich auch sehr aktiv und sind die Adressen auch sehr verbreitet, da kommt durchaus viel Spam drauf. Ich muss aber auch zugeben, dass mein angepasster PMG deutlich besser ist als kommerzielle hoch gelobte Anbieter wie Hornet Security. Da kam dermaßen viel Spam durch und umgekehrt so viele false-positives, es war gar nicht möglich, meine älteste Domain dort zu betreiben.
 
Ganz ehrlich? Da musst Du Dich wohl an die Leute hier von Proxmox wenden. @Stoiko Ivanov @dietmar usw.

Ich muss sagen, ich habe meinen PMG nach der damaligen sehr umfangreichen Konfiguration komplett neu aufgesetzt (da war einfach zu viel angepasst) und dabei etliche Einschränkungen bei den Anpassungen vorgenommen:

Keine Änderungen der Configs/Templates (mit kleineren Abstrichen, zu denen ich Bugs aufgemacht habe, dass das allgemein aufgenommen werden sollte, sehen auch einige andere so)
Kein Antivirus mehr (ClamAV ist an sich eh unbrauchbar, am Endpoint gibt es einen Virenschutz, das reicht an sich aus, die meisten Anbieter wollen eh keine Standalone-Antivirus-Lösungen mehr anbieten)
Ich habe mir zwischenzeitlich ein sehr gutes Set an Blacklists entwickelt, die ich begeistert nutze, eine davon ist grundsätzlich paid, aber ich kann sie nur empfehlen (gerne Kontakt herstellen und hatte auch schon vorgeschlagen, ob man diese nicht hier auch als Subscription Option aufnehmen wolle).
Ansonsten war ich doch sehr erstaunt, dass die neue Version wohl AWL und Bayes per default aus hat. Beides hat mir massiv viel gebracht, aber man muss sich halt die Arbeit machen, individuell den Spamfilter anzulernen. Das könnte per Integrationen in Outlook, ... durchaus vereinfacht werden, auch könnte man über die (unsägliche) Quarantäne anlernen.
Ein Feature würde immer noch massiv viel bringen, aber man scheint da wenig Interesse zu haben: Ein Conditional Greylisting. Das würde nachweislich einigen Spam abhalten, manchmal sind die Listen halt nicht ganz so schnell.
Sophos SG ist ja leider bald History, deren "Magie" besteht zuweilen aber auch in deren Listen, die nutzen bspw. auch UCEPROTECT, was ich persönlich hoch kritisch finde. Ansonsten machen die gar nicht so viel, man muss halt den PMG etwas konfigurieren. Warum das zuweilen nicht "out of the box" so kommt oder man so sehr zurückhaltend mit Optimierungen ist, wie gesagt, o.g. Ansprechpartner wären hier die richtigen.

EDIT: Wenn man sich "zutraut", die UCEPROTECT-Listen auch in dem von mir entwickelten Blacklist-Set zu nutzen, dürfte wohl wirklich kaum noch was durchkommen. Die sind wirklich hoch aggressiv.
Moin Heuger,
das klingt sehr interessant. Könnte ich mir denn dein Blacklist-Set einmal anschauen?
Oder gibt es die Möglichkeit das auch für meinen PMG zu nutzen?
Ich lerne immer gerne dazu.
LG Peter
 
Moin Heuger,
das klingt sehr interessant. Könnte ich mir denn dein Blacklist-Set einmal anschauen?
Oder gibt es die Möglichkeit das auch für meinen PMG zu nutzen?
Ich lerne immer gerne dazu.
LG Peter

Entspricht an sich jenem in meinem ehemaligen Advancing-Thread: zen.spamhaus.org,bl.spamcop.net,psbl.surriel.com,spamrbl.imp.ch,noptr.spamrats.com,escalations.dnsbl.sorbs.net,bl.score.senderscore.com,bl.spameatingmonkey.net,rbl.realtimeblacklist.com,dnsbl.dronebl.org,ix.dnsbl.manitu.net,b.barracudacentral.org,truncate.gbudb.net,bl.blocklist.de,xxx,xxx24

Bis drone.bl hatte ich damals noch Faktor zwei drin, das habe ich dann aber reduziert, da ganz wenige, aber durchaus vorhandene false positives dann durchschlagen, so mit Treshold 2 müssen mindestens 2 Listen matchen, das klappt sehr gut. Statt zen.spamhaus.org habe ich etwas aktueller den Spamhaus Feed, den man sich unter portal.spamhaustech.com holen kann, ob der jetzt wirklich so viel schneller ist, kann ich ehrlich gesagt nicht beurteilen, nicht ausgetestet, da aber kostenlos für meinen Anwendungsfall habe ich das einfach mal mitgenommen. xxx sind die Listen von invaluement, schöne Grüße an Rob, die sind auch sehr gut. Ansonsten hat Bayes bei mir viel geholfen und bedauere deren Abschaltung, wenn ich neue Spam immer wieder mit multirbl.valli.org abgleiche würde das Feature von rspamd conditional greylisting noch sehr viel bringen und wenig zusätzlichen Aufwand erfordern und analog dem pre-queue-filtering vertretbar viel zusätzliche Last erzeugen oder kann man ja selbst entscheiden. Was meine ich damit? rspamd macht nicht das nervige dauerhafte Greylisting, was oft zu massigen Delays führt (wenn man sehr interoperabel unterwegs ist und nicht nur ganz wenige gleiche Sender hat) sondern man definiert einen Spamscore, ab welchem ein Greylisting laufen soll, also den Score zwischen safe ham und safe spam, so dass man diese unclear dann nur greylisted und darauf hofft, dass mit dem Wiederversuch ein potentieller Spam (und das scheint gemäß dem Blacklistcheck von oben oft der Fall) dann auf eine Liste gekommen ist während potentieller ham weiterhin nicht gelistet ist und dann durchkommt. Natürlich erzeugt das zusätzlichen Load und Aufwand, aber eben nur für potentiellen Spam und die Wahrscheinlichkeit danach als Spam erkannt zu werden, sollte es selbiger sein, ist deutlich höher als generell alles durchs Greylisting laufen zu lassen. Analog dem Pre-Queue-Filtering erzeugt es halt stets zusätzliche SpamAssassin-Last.
 
  • Like
Reactions: magicpeter
Und die BL trägst du alle und Konfiguration / Mail proxy / Optionen / DNSBL Seiten ein?

zen.spamhaus.org,bl.spamcop.net,psbl.surriel.com,spamrbl.imp.ch,noptr.spamrats.com,escalations.dnsbl.sorbs.net,bl.score.senderscore.com,bl.spameatingmonkey.net,rbl.realtimeblacklist.com,dnsbl.dronebl.org,ix.dnsbl.manitu.net,b.barracudacentral.org,truncate.gbudb.net,bl.blocklist.de,xxx,xxx24

Sind das nicht einmischen viele DNSBL?
 
Und die BL trägst du alle und Konfiguration / Mail proxy / Optionen / DNSBL Seiten ein?

zen.spamhaus.org,bl.spamcop.net,psbl.surriel.com,spamrbl.imp.ch,noptr.spamrats.com,escalations.dnsbl.sorbs.net,bl.score.senderscore.com,bl.spameatingmonkey.net,rbl.realtimeblacklist.com,dnsbl.dronebl.org,ix.dnsbl.manitu.net,b.barracudacentral.org,truncate.gbudb.net,bl.blocklist.de,xxx,xxx24

Sind das nicht einmischen viele DNSBL?

Als solche kommaseparierte Liste, ja, das ist ein Eintrag. Jein, das sind schon eine Menge Listen, aber mit Treshold 2 braucht es ja auch zwei Evidences. Also muss die "Chance" ja auch erhöht werden. Auch hier die Frage, weniger geht natürlich, aber dann mit dem potentiellen Nachteil potenziellen Spam zu übersehen oder Ham abzuweisen, es gibt leider keine "heilige Gral"-Liste, die Reihenfolge kommt aber nicht von ungefähr, jene mit 2 (ursprünglich) und mit 1 Treffer sind in der Reihenfolge, wie sie auch matchen, also weiter hinten weniger Treffer.
 
  • Like
Reactions: magicpeter

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!