Dem Google die Feeds verbieten

Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*

Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.

Ähnliche Beiträge

  • Pagerank-Downgrade läuft

    So, Freunde der grünen Schwanzverlängerung – fasten your seatbelts ;) Nach einigen kleineren manuellen Anpassungen lässt’s Google gerade richtig krachen, oder sie wollen uns einfach nur gehörig vergackeiern. Derzeitige Prognosen lassen die Hoffnung auf unterhaltsame Nachrichten in den nächsten Tagen steigen. Da ich dafür aber wirklich kein Experte bin, sollten die interessierten da lieber die…

  • WordPress 2.5: In der Ruhe liegt die Kraft

    So könnte man’s wohl nennen, der jeder der nicht über hervorragende technische Kenntnisse verfügt oder extrem experimentierfreudig ist, sollte lieber warten, bevor er das in ca. 2 Wochen erscheinende Update auf WordPress 2.5 einspielt. Es hat sich einiges geändert bei WordPress – einiges, das dazu führen könnte mit aktuellen Plugin- und Themeversionen Fehler zu produzieren.

  • Update: Facebook (oder Google?) entfernt Werbung?

    Wie heute Nachmittag kurz berichtet, hat Facebook vor einigen Tagen begonnen Werbung auf Google (via Adwords) zu schalten – dummerweise mit den Namen der dort registrierten User. Betroffen war der ein oder andere mehr oder weniger bekannte aus der deutschen Blogosphäre. Seit einigen Minuten nun scheint die Werbung von Google verschwunden zu sein. Ob es…

  • Das Kreuz mit der Spamabwehr

    Bei der Umstellung des Designs und einiger anderer Dinge, hab‘ ich auch eine Umstellung der Antispamlösung vollzogen. Primär diente das Testzwecken, da ich nicht so recht wusste wie es ohne Spamkarma 2 ist. Von Anfang an hatte ich noch in keinem der von mir betreuten Blogs eine andere Lösung verwendet.

  • Webseiten Demo selber machen

    Interessantes Tool. Jeder der schon einmal an der Entwicklung größerer Websites beteiligt war weiß, wie schwierig es oft ist einem Erstbesucher die Funktionen zu Erklären. An den für Geeks vermeindlich einfachsten Anwendungen wie Web-Foren merkt man das als Betreiber mitunter am deutlichsten. Hier scheitert es bei vielen unerfahrenen Nutzern bereits an der Registrierung. Das schreiben…

8 Kommentare

  1. Das dürfte aber auch die (wenigen) Feedreader treffen die sich an die robots.txt halten. Aber das dürften eh so in etwa 0 sein ;-)

  2. Ja. Ich hab das mit den Feeds bei mir im Blog schon etwas länger. Soweit funktioniert das auch ganz gut.
    Nun wollte ich vor kurzem mal die Bilder (die eh nicht mehr vorhanden sind) aus dem Index entfernen. Und da meinte Google das Wildcards in der robots.txt nicht erlaubt seien.

    Ich finde es auch sehr merkwürdig, da Google auf seinen eigenen Seiten behauptet mit Wildcards könnte man verschiedenen Bild-Typen von der Indexierung ausschließen (z.B. mit /*.gif)

  3. Pingback: Blog » WordPress Plugin: NoIndex Feed » Frank Helmschrott

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert