helmschrott.de

Schlagwort: spider trap

  • 14 Tage war der Feed krank

    …jetzt rennt er wieder – Gott sei Dank.

    Nein keine Angst, ich werde nicht zum Poeten. Mein Feed war tatsächlich krank. Das Problem war höchstwarschscheinlich Spidertrap, das den Zugang zum Feed für Feedburner verhindert hat. (mehr …)

  • Blogspam und Contentklau

    Keine Frage – bloggen macht Spaß und der größte Teil derer, die sich am Blogleben beteiligen haben gutes im Sinn. Leider müssen wir aber auch mit Leuten leben, denen Regeln egal sind und die lieber über geklaute Inhalte oder spammig erschlichene Links für Beliebtheit ihrer eigenen Website und damit meist auch für hohe Werbeeinnahmen sorgen. (mehr …)

  • Dem Google die Feeds verbieten

    Immer öfter stolpere ich in den Google Results über Ergebnisse die direkt auf einen Feed zeigen. Das passiert lustigerweise primär (zumindest subjektiv) bei Wordress-Blogs. Dabei lässt sich da eigentlich recht einfach Abhilfe schaffen. Via Robots.txt lassen sich (zumindest die braven SE-Bots) von den Feeds fernhalten:


    User-agent: *
    Disallow: /*feed/*
    User-agent: googlebot
    Disallow: /*feed/*

    Das gilt so für alle Feeds die über feed/in der URL erreichbar sind. In meinem Blog trifft das auf alle Feeds (inkl. Artikelbezogene Kommentarfeeds zu). Ich wusste bisher auch nicht, dass Wildcards in dieser Form in der robots.txt erlaubt sind. Der Google-Checker (Webmaster Tools) hat jedoch sein okay dazu gegeben, also nehm ich das mal so hin und werde es ab sofort so einsetzen.

    Wer will, darf’s natürlich gerne mitnehmen ;)
    Für die bösen Roboter gibt’s übrigens SpiderTrap. Das kommt hier gleich aus der Nachbarschaft und wirkt bei mir seit Monaten recht gut gegen BlutContentsauger. Unbedingt mal ausprobieren.