Komische ref-Links

[edi]

Ich habe ständig HTTP Referer nach dem Format:

CODE http://query.ie.DOMAIN.com/query-server/K/Query/?ksu=http%3A//www.init.com/&returnType=html
http://query.us.DOMAIN.com/query-server/K/Query/?ksu=http%3A//www.init.com/&returnType=html


Haltet ihr das für gefährlich ?

 

[Jürgen Auer]

Die Ref-Links sind völlig egal - solange Du nicht auf die Seiten draufgehst.

Entweder sollen Nutzer da draufgelockt werden, damit sie auf Werbung klicken.

Oder die Seiten sind verseucht - dann empfiehlt sich ein Besuch nicht.

Ansonsten gibt es so dermaßen viel an 'spinnerten Bots' - da lohnt es sich nicht, sich allzuviel damit zu beschäftigen.

 

[edi]

Mir sind das nur zu viele Abfragen. Die Crawler sollen ja nicht 75% der Performance fressen.

 

[Jürgen Auer]

QUOTE (edi @ Mo 20.09.2010, 22:21)Mir sind das nur zu viele Abfragen. Die Crawler sollen ja nicht 75% der Performance fressen.

Das hat dann aber nichts mit dem Referrer zu tun.

Ist das immer dieselbe IP? Dann sperre diese.

Wobei es auch vom Abstand zwischen zwei Anfragen abhängt. Ein Abstand von mehreren Sekunden sollte eigentlich jeder Server problemlos bewältigen. Und drunter hilft nur Sperren.

Wobei ich innerhalb von Server-Daten manchen bekannten Saugern einfach 410 und eine leere Seite ausliefere.

Beim Schreiben kommt mir grade eine merkwürdige Idee: Wenn man stattdessen den Thread schlafen legt, so daß der Sauger keine Rückmeldung kriegt? Oder läuft man da Gefahr, daß so viele offene Verbindungen aufgemacht werden, daß das zum Problem wird?

Also nicht schnell einen 410 ausliefern, sondern jedesmal bsp. 90 Sekunden warten lassen, so daß schließlich das globale Timeout zuschlägt?

 

[DerSchweisser]

@edi
Kannst Du mal bitte 2 - 3 Zeilen des kompletten Logfiles posten? Ich würde mir das gerne mal im Zusammenhang ansehen.

 

[edi]

CODE xxx.xxx.xxx.xxx - - [23/Sep/2010:09:42:50 +0200] "GET /favicon.ico HTTP/1.1" 302 355 "http://query.ie.XXXXX.com/query-server/K/Query/?ksu=http%3A//www.init.com/&returnType=html" "Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv:1.9.2.10) Gecko/20100914 Firefox/3.6.10"

xxx.xxx.xxx.xxx - - [23/Sep/2010:09:42:50 +0200] "GET /favicon.ico HTTP/1.1" 302 355 "http://query.ie.XXXXX.com/query-server/K/Query/?ksu=http%3A//www.init.com/&returnType=html" "Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv:1.9.2.10) Gecko/20100914 Firefox/3.6.10"

xxx.xxx.xxx.xxx - - [23/Sep/2010:09:42:50 +0200] "GET /favicon.ico HTTP/1.1" 302 355 "http://query.ie.XXXXX.com/query-server/K/Query/?ksu=http%3A//www.init.com/&returnType=html" "Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv:1.9.2.10) Gecko/20100914 Firefox/3.6.10"


Scheinbar wird nur das Favicon geladen, aber dafür 20 mal pro Sekunde.