el*Loco blogged

Don't trust a computer you can't throw out a window.

Gedanken zu Blog-Spamerkennung mittels bogofilter

Folgendes habe ich gerade im Serendipity Forum eingekippt - vielleicht interessiert es ja auch die Leser hier:

Da Akismet und auch TypePad Antispam tlw. ein wenig viel wegfiltern - gerade Kommentare auf Deutsch - habe ich gestern ein wenig begonnen, mir über Alternativen Gedanken zu machen. Erst wollte ich Spamassassin zur Erkennung von Spam/Ham verwenden, bin dann aber bei bogofilter gelandet, da Spamassassin sehr viele Tests für Mailheader hat und diese auch erwartet (Received-Zeilen etc.).
Da bogofilter ein Bayes-basierter Filter ist, muss er erst lernen, was gut und was schlechte Kommentare sind. Dazu habe ich zwei Dinge getan:
Alle guten Kommentare je in eine Datei pro Kommentar geschrieben:

Alle erkannten und abgelehnten Spamkommentare in je eine Datei pro Kommentar geschrieben:

In meinem Fall ergab das dann zwei Verzeichnisse, einmal "blogspam" mit fat 370.000 abgelehnten Spams und ein "blogham" Verzeichnis mit 700 guten Kommentaren und Trackbacks. Jede der Dateien hatte untereinander author, url und body stehen.
Jetzt zum lernen:


Wenn ich jetzt je einen neue Spamkommentar und einen erfundenen, aber validen sauberen Kommentar zur Prüfung durch den bogofilter jage, erkennt er das brav:


Manuell tut das jetzt alles - aber wie verwende ich das in Serendipity? Ich bin SysAdmin, habe es überhaupt nicht mit der PHP Programmierung. Gäbe es denn Interessierte, die diesen Ansatz der Spamfilterung mittels Bayesfilter weiter verfolgen möchten und evtl. in ein Spamblock-Plugin giessen?

Typepad Antispam als Alternative zu Akismet in s9y *Update*

Um Blogspam zu bekämpfen, gibt es in der besten Blogsoftware der Welt das Spamblock Plugin. Dieses Plugin bietet u.a. die Integration von Akismet an. Akismet ist ein externer Dienstleister, der über eine API den Kommentar vor der Veröffentlichung prüft und eine Entscheidung über Spam oder nicht Spam trifft.

Seit einiger Zeit bietet auch TypePad einen AntiSpam Service an - momentan noch im Beta Status, nativ unterstützt werden bisher Movable Type und Wordpress. Die API ist praktischerweise kompatibel zu Akismet, kann also sehr einfach auch in Serendipity integriert werden, mehr dazu gibt es weiter unten.

TypePad möchte den Dienst komplett kostenlos anbieten und schreibt dazu in der FAQ:

How much does TypePad AntiSpam cost?
TypePad Antispam is free, and will always be free, regardless of the number of comments your blog receives. We are strongly committed to spam-free blogs and vibrant, healthy conversations. Charging for the service based on the number of comments processed would mean that we would actually benefit from the behavior of spammers. We don't make money from spam!

Hierzu organisiert man sich bei TypePad einen API-Key. Dieser Key wird in der Plugin Verwaltung anstatt des Akismet API-Keys eingetragen. Anschliessend muss die Datei plugins/serendipity_event_spamblock/serendipity_event_spamblock.php editiert werden - dort einfach alle Vorkommen von "rest.akismet.com" durch "api.antispam.typepad.com" ersetzen.

Auf diesem Blog läuft diese Änderung seit einigen Stunden ohne Probleme - es wurde laut Log brav jeder Spam abgefangen. Ob man als Blogbetreiber möchte, daß jeder Kommentar quer durchs Netz geschickt wird muss jeder für sich selbst entscheiden.

Update: Und warum ist s9y die beste Blogsoftware der Welt? Weil im Spamblock Plugin die Auswahl zwischen Akismet und TypePad Antispam schwupps eingebaut wurde (im trunk und nightly builds zu finden).

Layoutänderung

Nach ewiger Zeit habe ich mal wieder ein wenig in der langen Liste der verfügbaren Plugins für s9y gestöbert um eine evtl. Alternative für mein kleines Blog zu finden. Bei YellowLed bin ich auf die Portierung eines Wordpress Themes gestolpert: WP_Premium.

Ich finds ganz schick, evtl. mache ich mich mit meinen primitiven CSS Kenntnissen aber noch an eine kleine Überarbeitung, schau mer mal.

Spamstatistik

Bei den Arbeiten an der spamblocklog Tabelle meiner Serendipity Installation, die evtl. demnächst zum release eines Plugins zur Spam Statistik führen, habe ich ein wenig mit der GeoIP API für PHP gespielt, dabei kam z.B. die folgende interessante Statistik zur Herkunft der abgelehnten Kommentare bzw. Trackbacks heraus:

2647 United States

1788 Korea, Republic of

1163 Ukraine

 972 Norway

 861 Austria

 686 China

 525 India

 488 Japan

 226 Germany

 173 Russian Federation

 164 Algeria

 127 Mexico

Persönlich hätte ich China und Russland weiter oben auf der Liste erwartet, aber die breite Streuung der verschiedenen Länder (auch aus Syrien, Iran und Saudi-Arabien kommt Spam) deutet auch hier auf Botnetze hin, ähnlich wie bei Spam Mails.

Serendipity Update

It's update time: Serendipity liegt in Version 1.0.2 bzw. 1.1-beta5 vor, neben einigen neuen Features wird diesmal auch ein Sicherheitsloch gestopft, also husch husch updaten! Wie immer ist das Update extrem schmerzlos, entpacken, Blog im Browser aufrufen, Updates bestätigen, fertig.

Serendipity 1.0-beta3

Für die beste Blogsoftware der Welt gibt es ein Update auf Version 1.0-beta3 - und wie bei allen bisherigen Updates auch war es wunderbar leicht zu installieren. TAR-File auspacken, Permissions kontrollieren/anpassen, wohlfühlen. Warum kann das nicht immer so einfach sein? Danke Garvin und Co.

s9y theme contest over

Der große Theme Wettbewerb für das beste Blog der Welt ist abgeschlossen, auf themes.s9y.org kann man die eingereichten Kandidaten anschauen, zur Abstimmung gehts ins Forum.

Tue Gutes...

Unabhängig von der Aktion beim Observator habe ich mich gestern bei zwei Open-Source Entwicklern für ihre feine Arbeit bedankt:
- Garvin bekommt für seine unermüdliche Arbeit an der besten Blogsoftware der Welt eine DVD von seiner Wunschliste: den genialen Film Almost famous mit der extrem heissen Kate Hudson.
- Sebastian bekommt ein bisschen was über Paypal überwiesen für seine geniale DD-WRT Firmware für den Linksys WRT54G(S) Router.
Hat gar nicht weh getan - und irgendwie fühle ich mich jetzt besser

Update der besten Blogsoftware der Welt

They did it again! Serendipity, die anerkannt beste Blogsoftware der Welt liegt in Version 0.9 vor. Viele neue Features, alles in Farbe und bunt! Das Update von 0.8 bzw. einer der 0.9-beta Versionen geht wie immer geschmeidig einfach und sicher - Blog und Planet sind umgestellt. Dazu noch einen herzlichen Glückwunsch an Garvin und ein fantastisches Wochenende

Serendipity Remote Exploit

Wenn auch spät, dann auch hier der Hinweis auf eine Sicherheitslücke in der besten Blogsoftware der Welt - auch bei Master Kris nachzulesen. Entweder auf Version 0.8.2 updaten oder die serendipity_xmlrpc.php löschen.

Powered by Serendipity | WP Premium theme by WP Remix | Ported to s9y by YellowLed
Copyright 2010. el*Loco blogged. All rights reserved

• Home
• Twitter
• Impressum
• Login