Yahoo! Slurp; überschwemmt ......

D

DonBastiano

Angesehenes Mitglied
.......meine Seite und irgendwie ist sie auch extrem langsam geworden.

Habe die ganze Zeit zwischen 40 -55 dieser bots bei mir auf der Seite!

Kann mir mal bitte jemand sagen wie ich die verbannen kann.


danke für euere Hilfe...

fg

basti

 
hallo

ich kenn mich nicht wirklich aus und bin auch hier auf der suche nach hilfe!
aber ich wuerde denken das du die teile im header direkt bannen solltest
so wuerde ich zumindest vorgehen

mfg
 
Ich habe dazu folgende robots.txt :

CODE User-agent: *
Disallow: /acp/
Disallow: /includes/
Disallow: /addreply.php
Disallow: /attachment.php
Disallow: /attachmentedit.php
Disallow: /attachments
Disallow: /cache/
Disallow: /calendar.php
Disallow: /editor.jar
Disallow: /editpost.php
Disallow: /email.php
Disallow: /error.php
Disallow: /forgotpw.php
Disallow: /formmail.php
Disallow: /global.php
Disallow: /images/
Disallow: /js/
Disallow: /login.php
Disallow: /logout.php
Disallow: /markread.php
Disallow: /memberslist.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /newthread.php
Disallow: /pms.php
Disallow: /polledit.php
Disallow: /pollstart.php
Disallow: /pollvote.php
Disallow: /print.php
Disallow: /profile.php
Disallow: /regimage.php
Disallow: /register.php
Disallow: /report.php
Disallow: /team.php
Disallow: /templates/
Disallow: /threadrating.php
Disallow: /usercp.php
Disallow: /usergroups.php
Disallow: /wiw.php
Disallow: /thread.php
Disallow: /board.php

User-Agent: Googlebot-Image
Disallow: /


Da du auch wie ich nen wbb2 hast kannst du das einfach übernehmen.

PS: Zur Erklärung, mit der robots.txt schliesst du Bots aus. Allerdings halten sich nicht alle Bots an die robots.txt


Desweiteren ersparst du dir dadurch Duplicate Content. Da nun nur das Archiv gespidert wird.
Den Yahoo Bot würde ich jetzt nicht unbedingt komplett aussperren...

Greetz
 
Interessant...

QUOTE (Terrahawk @ Mi 11.10.2006, 23:17)Den Yahoo Bot würde ich jetzt nicht unbedingt komplett aussperren...


Ich wär froh, wenn der Yahoo! Bot auf meiner Seite einmal vorbei käme. Google spidert mich zu tode, aber in Yahoo! kommt - trotz Seitenanmeldunge, etc. - meine Seite nicht voran...

Also, wie hast Du das geschafft?
 
Ich dachte bis jetzt das nur Google delay kennt !? Nunja wenn dem so ist. Wieder was gelernt.

PS: Apropos, weiss wer wie oft Yahoo seinen Index aktualisiert ?
Also so regelmäßig wie MSN oder Google scheint der Index dort nicht aktualsiert zu werden
unsure.gif
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben