Dem Google die Feeds verbieten
Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:
User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*
Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.
Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.
Das dürfte aber auch die (wenigen) Feedreader treffen die sich an die robots.txt halten. Aber das dürften eh so in etwa 0 sein ;-)
Wenn man allerdings mit der URL-Console von Google (http://www.google.ch/intl/de/remove.html) die Feeds aus dem Index entfernen lassen möchte und dazu die robots.txt verwenden will, meckert Google rum.
Woran meckert google dann rum? an den Wildcards?
Ja. Ich hab das mit den Feeds bei mir im Blog schon etwas länger. Soweit funktioniert das auch ganz gut.
Nun wollte ich vor kurzem mal die Bilder (die eh nicht mehr vorhanden sind) aus dem Index entfernen. Und da meinte Google das Wildcards in der robots.txt nicht erlaubt seien.
Ich finde es auch sehr merkwürdig, da Google auf seinen eigenen Seiten behauptet mit Wildcards könnte man verschiedenen Bild-Typen von der Indexierung ausschließen (z.B. mit /*.gif)
Ich hatte mich schon vor längerer Zeit mal damit beschäftigt, siehe Feeds von Suchmaschinen ausschließen, wichtig ist dabei „Allow: /feed/“ um von Google Blogsearch weiter indexiert zu werden, interessant auch der tatsächlich sinnvolle Einsatz von nofollow ;-)
Das wird so nicht funktionieren, richtig muss es heißen:
User-Agent: Googlebot
also großbuchstabe