robots.txt - Alle Aussperren außer den Guten?

[Roberto]

Hallo, ich habe in meinem Logfile gestöbert und viele, sehr viele Bots gefunden die mir, meiner meinung nach, gar nichts bringen. daher meine idee: ich lasse nur die guten zu, die wirklich traffic bringen:

Hier meine robots.txt
CODE
# Hier die Bots erlauben


User-agent: YahooSeeker/M1A1-R2D2
Disallow:

User-agent: Googlebot
Disallow:

User-agent: msnbot/2.0b
Disallow:

User-agent: msnbot/1.1
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Mediapartners-Google
Disallow:


# Hier den Rest aussperren
User-agent: *
Disallow: /



Meine Frage:
Gute Idee oder Nonsense?

 

[G.P.]

QUOTE (Big Rob @ Di 3.08.2010, 15:14) Gute Idee oder Nonsense?

Nonsense

Die wenigstens Bots halten sich an die robots.txt
Wenn du also wirklich jemanden aussperren willst, geht das nur über die .htaccess
Aber Suchmaschinen-Bots aussperren ist immer eine schlechte Idee.
Allerdings gibt es einige Daten-Crawler wo es etwas bringt.

 

[Floern]

So unsinnig ist das gar nicht, man kann den Server auch schon minimal entlasten, wenn man Bots, die sich an die robots.txt halten, aussperrt.
Ich z.B. blocke Suchmaschinencrawler wie der Baiduspider, twiceler oder MJ12bot. Mit diesen Suchmaschinen kann ich nichts anfangen, also warum sollten sie meine Website scannen (und sichtbar Traffic erzeugen). Die robots.txt respektieren sie auf alle Fälle.

CODE User-agent: Baiduspider
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: twiceler
Disallow: /


Aber ist schon so: Die meisten "bösen" Bots kümmern sich nicht um die Robots-Exclusion-Standards.