Robots erkennen

[dandelion]

Hallo,

Ich möchte gerne den Zugriff für gewisse Besucher meiner Site einschränken,
jedoch sollten nach wie vor alle Robots vollen Zugriff haben.

Ich protokolliere nun die IPs sowie HTTP_USER_AGENT der einzelnen Besucher; doch
wie finde ich heraus, ob es sich nun um einen Benutzer oder um einen Robot handelt ?

Beim User_Agent 'Mediapartners-Google/2.1' ist es ja relativ einfach; aber bei all den
anderen User-Agent-Angaben (z.B.
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322 oder
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98))
kann ich
auf den ersten Blick nicht feststellen, ob es sich nun um einen Robot handelt oder nicht.

Gibt es da ein einfaches Kriterium ? Oder ist die Information gar in einem anderen Feld als HTTP_USER_AGENT vorhanden ?


Bin um jeden Tipp dankbar.

Danke,
Philipp

 

[Metaman]

im HTTP_USER_AGENT ist das vorhanden was die Betreiber der Suchmaschine oder des Bots da haben wollen.

im Grunde kann sich jeder als Bot ausgeben.
z.b. mit dem Firefox da gibt es eine Erweiterung mit der sowas einfach möglich ist..

allerdings hab ich auf diversen Seiten schon Listen mit IP Adressen der Bots gesehen...