Dem Google die Feeds verbieten

Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


User-agent: *
Disallow: /*feed/*
User-agent: googlebot
Disallow: /*feed/*

Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

Wer will, darf’s natürlich gerne mitnehmen ;)
Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.

Ähnliche Beiträge

  • Mail.app und mehrere Absender

    Das ist gar keine einfache Angelegenheit mit Mail.app. Ich hab mich nun damit abgefunden, dass ich nicht einfach für ein IMAP-Konto mehrere Absenderemails und -namen haben kann. Es geht einfach nicht – selbst die mehreren Email-Adressen scheinen mehr ein Easteregg als eine echte Funktion zu sein, auch wenn sie mittlerweile bei Apple offiziell dokumentiert sind.

  • Der Aufstieg der Blogwiese

    Bald sind’s zwei Jahre, da hat Cindy alias Steffi (meine bessere Hälfte) angefangen auf der Blogwiese zu bloggen – also weit bevor ich es geschafft habe einen persönlichen Blog zu starten. Ihre Blogkarriere war dabei alles andere als steil. Nach anfänglicher Euphorie hat sie bald die Lust wieder etwas verlassen und die Zahl der neuen…

  • Redesign-Überlegungen

    Seit langem trage ich nun schon den Wunsch nach einem eigenen Design mit mir herum. Ein Design für dieses Blog, dass so gut wie möglich meinen Vorstellungen entspricht. Als nicht-Webdesigner sind meine Möglichkeiten hier natürlich etwas eingeschränkt. Dennoch will ich das ganze nun langsam mal in Angriff nehmen – wird ohnehin lange genug dauern bis…

  • Ubuntu-Buch kostenlos downloaden

    Da es mich interessiert und evtl. auch einige meiner Leser. Das Buch „Ubuntu GNU/Linux – Grundlagen, Anwendungen, Administration“ gibt’s beim Galileo-Verlag nun kostenlos als OpenBook zum download . Eine PDF und eine HTML-Variante stehen zur Verfügung. Zum ersten reinschnuppern hier mal der Klappentext: Ubuntu Linux hat sich seit geraumer Zeit als Nummer Eins unter den…

8 Kommentare

  1. Das dürfte aber auch die (wenigen) Feedreader treffen die sich an die robots.txt halten. Aber das dürften eh so in etwa 0 sein ;-)

  2. Ja. Ich hab das mit den Feeds bei mir im Blog schon etwas länger. Soweit funktioniert das auch ganz gut.
    Nun wollte ich vor kurzem mal die Bilder (die eh nicht mehr vorhanden sind) aus dem Index entfernen. Und da meinte Google das Wildcards in der robots.txt nicht erlaubt seien.

    Ich finde es auch sehr merkwürdig, da Google auf seinen eigenen Seiten behauptet mit Wildcards könnte man verschiedenen Bild-Typen von der Indexierung ausschließen (z.B. mit /*.gif)

  3. Pingback: Blog » WordPress Plugin: NoIndex Feed » Frank Helmschrott

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert