Blogspam und Contentklau

Keine Frage – bloggen macht Spaß und der größte Teil derer, die sich am Blogleben beteiligen haben gutes im Sinn. Leider müssen wir aber auch mit Leuten leben, denen Regeln egal sind und die lieber über geklaute Inhalte oder spammig erschlichene Links für Beliebtheit ihrer eigenen Website und damit meist auch für hohe Werbeeinnahmen sorgen. „Blogspam und Contentklau“ weiterlesen

Dem Google die Feeds verbieten

Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*

Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.