helmschrott.de

Dem Google die Feeds verbieten

Verfasst von

Helmi

in

Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*

Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.

Kommentare

8 Antworten zu „Dem Google die Feeds verbieten“

  1. Avatar von Thomas R. Koll
    Thomas R. Koll

    Das dürfte aber auch die (wenigen) Feedreader treffen die sich an die robots.txt halten. Aber das dürften eh so in etwa 0 sein ;-)

    Antworten
  2. Avatar von Ralf
    Ralf

    Wenn man allerdings mit der URL-Console von Google (http://www.google.ch/intl/de/remove.html) die Feeds aus dem Index entfernen lassen möchte und dazu die robots.txt verwenden will, meckert Google rum.

    Antworten
  3. Avatar von Frank Helmschrott
    Frank Helmschrott

    Woran meckert google dann rum? an den Wildcards?

    Antworten
  4. Avatar von Ralf
    Ralf

    Ja. Ich hab das mit den Feeds bei mir im Blog schon etwas länger. Soweit funktioniert das auch ganz gut.
    Nun wollte ich vor kurzem mal die Bilder (die eh nicht mehr vorhanden sind) aus dem Index entfernen. Und da meinte Google das Wildcards in der robots.txt nicht erlaubt seien.

    Ich finde es auch sehr merkwürdig, da Google auf seinen eigenen Seiten behauptet mit Wildcards könnte man verschiedenen Bild-Typen von der Indexierung ausschließen (z.B. mit /*.gif)

    Antworten
  5. Avatar von Michael
    Michael

    Ich hatte mich schon vor längerer Zeit mal damit beschäftigt, siehe Feeds von Suchmaschinen ausschließen, wichtig ist dabei „Allow: /feed/“ um von Google Blogsearch weiter indexiert zu werden, interessant auch der tatsächlich sinnvolle Einsatz von nofollow ;-)

    Antworten
  6. Avatar von Mario
    Mario

    Das wird so nicht funktionieren, richtig muss es heißen:

    User-Agent: Googlebot

    also großbuchstabe

    Antworten
  7. Blog » WordPress Plugin: NoIndex Feed » Frank Helmschrott

    […] WordPress-Feeds durch Suchmaschinenbots. Eine sehr interessante Sache – schon mehrfach haben mich in der Vergangenheit die diversen Feed-URLs der ganzen Blogs im Index gestört. Nicht nur als Blogbetreiber – auch […]

    Antworten
  8. Duplicate Content vermeiten mit robots.txt – Punctilio

    […] erhalten, da der Beitrag vielleicht schon auf Seite 3 oder 4 ist. Verbietet sollte man auch den Zugriff auf den Feed. Ausführlichere Informationen zu diesem Thema bei Horst Scheurer und im Google […]

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Weitere Beiträge