AskJeeves verdoppelt meinen Traffic

Maik

Maik

Angesehenes Mitglied
Hallo !

In letzter Zeit habe ich bei einer meiner Seiten ein recht aufdringliches Verhalten vom AskJeeves-Crawler festgestellt. Die Anzahl der Seiten die er abruft steigt ständig an. Letzten Monat waren es ca. 180.000 , diesen Monat sind es schon 250.000 und es ist gerade mal der 15. des Monats.

Damit erzeugt der Crawler rund 52% des gesamten Traffics der Seite.

Zum Vergleich, Aufrufe pro Monat
google: ca. 25.000
picsearch: ca. 22.000
Gigablast: ca. 17.000
Yahoo: ca. 17.000
MSN: ca. 7.000

Also ist AskJeves nun 10 mal so gründlich wie google? Wenn das wirklich generell so ist, dann überholen die bald Google.

Habt ihr auch solche massiven Anstiege bemerkt?

MfG
Maik
 
QUOTE (Maik @ Sa 15.4.2006, 15:24) [...] Habt ihr auch solche massiven Anstiege bemerkt? [...]

Nein, er muss nicht unbedingt besonders gründlich deswegen sein.
Ich habe in etwa das gleiche Problem bei einen Robot und habe im Internet etwas dazu gefunden:



CODE User-Agent: msnbot
Crawl-Delay: 120

User-Agent: Slurp
Crawl-Delay: 180


Das soll angeblich den Robot sagen, wann Sie das nächste Mal auf die Seite zugreifen dürfen.Slurp soll hier z. B. max alle 180 Sekunden (3 Min) eine Seite indizieren von der Website. MSN nur alle 2 Minuten. Ob das Funktioniert, werde ich erst nächsten Monat zuverlässig sehen, wenn es nicht funktioniert.
Diese Anweisung muss in die robots.txt aufgenommen werden.



MfG Sascha Ahlers
 
Teile uns doch bitte mit, ob dies funktioniert. Man weiss ja nie, wann sowas von Nutzen sein wird.

Gruss, Ivo
 
Werde ich machen, Ende Mai weiß ich mehr. Bei der entsprechenden Website macht besonders der "Inktomi Slurp" von Yahoo sehr viel Traffic.


MfG Sascha Ahlers
 
evtl. gibt es da einen Zusammenhang?

QUOTE Suchmaschine Ask.com setzt zur Aufholjagd an

[Von ftd.de, 10:37, 28.02.06] Der Vorstandschef von Interactive Corp. (IAC), Barry Diller, nimmt Anlauf, um mit seiner Internetsuchmaschine Ask.com zu Konkurrenten wie Google, MSN oder AOL aufzuschließen. In den kommenden Tagen wird der Konzern eine große Kampagne starten, um für das neugestaltete Angebot zu werben.


Quelle: http://sp.de.ask.com/de/docs/about/press_0206.html

Gruß

sean
 
QUOTE (Alain Aubert @ Sa 15.4.2006, 19:01) Siehe Yahoobot Slurp und dessen Gefrässigkeit

Bei mir macht Yahoo 57% des Suchmaschinenbot-Traffics aus
huh.gif
 
Auf meinen Hauptwebspace macht Ask ca. 2,5 % aller Anfragen im aktuellen Monat aus. Der Slurp ist wie fast jeden Monat Spitzen-Leecher mit über 25 % der Anfragen --> verursacht massig Traffic, ist aber nicht mal in der Lage alle Unterseiten in die Suchergebnisse aufzunehmen.

PS: Die %-Angaben sind aus Webalizer. Wenn man nur Anfragen von Sumas nimmt sind die Zahlen also noch höher.
 
Ich finde diese Vergleiche so wenig aussagekräftig. Man muß das in Relation zu den PageImpressions setzen.

Wenn eine Domain 100.000 Seiten hat, 50.000 PIs täglich und sich die vier Suchmaschinen google, Yahoo, MSN und Ask jeweils 1/4 der Seiten täglich holen (also zusammen 100.000), dann machen die Sumas 2/3 des Traffics aus.

Hat die Domain 500 Seiten und 5000 PIs, dann erzeugt ein analoges Spiderverhalten 1000 Hits, also erzeugen die Sumas 1/6 des Tagestraffics.

Edit: Nun ja, das 'analoge Spiderverhalten' erzeugt 500 Hits, dann sind es gerade mal 9%. 1/6 wird bei doppelt so hohem Spideraufkommen erzeugt.
 
So die Statistik sagt am Ende des Monats, dass Yahoo und Google sich nun nicht mehr all zu sehr vom Traffic unterscheiden:

QUOTE Zugriffe durch Suchmaschinen* --- Zugriffe --- Bytes --- Letzter Zugriff
Inktomi Slurp --- 2202+1534 --- 33.72 MB --- 31.05.2006 - 23:57
Googlebot --- 3531+34 --- 32.60 MB --- 31.05.2006 - 22:03


Na ja, ich verfolge das einfach nochmal etwas.



MfG Sascha Ahlers
 
Also Ask indiziert nun bei mir monatlich mehr als 400.000 Seiten. Damit macht das nun fast 65% meiner Seitenaufrufe aus (inklussive Bilder & CSS). Bei Google bleibt es relativ konstant, allerding weit unterhalb von Ask... und die Seite hat mittlerweile von Google auch einen niedrigeren Pagerank verpasst bekommen.

Trotz der großzügigen Indizierung von Ask, ist bisher noch nicht ein einziger Besucher von Ask auf unsere Seite gekommen. Oder vielleicht haben die keine Referer-Angaben was ich bezweifle... auf jedenfall tauchen sie nicht in meiner Statistik auf.
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben