Dem Google die Feeds verbieten

Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*

Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.

8 Gedanken zu „Dem Google die Feeds verbieten“

  1. Ja. Ich hab das mit den Feeds bei mir im Blog schon etwas länger. Soweit funktioniert das auch ganz gut.
    Nun wollte ich vor kurzem mal die Bilder (die eh nicht mehr vorhanden sind) aus dem Index entfernen. Und da meinte Google das Wildcards in der robots.txt nicht erlaubt seien.

    Ich finde es auch sehr merkwürdig, da Google auf seinen eigenen Seiten behauptet mit Wildcards könnte man verschiedenen Bild-Typen von der Indexierung ausschließen (z.B. mit /*.gif)

  2. Pingback: Blog » WordPress Plugin: NoIndex Feed » Frank Helmschrott

Kommentar verfassen