robots.txt

[hk]

Hi,
ich habe zur Zeit das Problem das einige Amazon Self Optimizing Links keine passenden Produkte ausliefern (erst seit ca. 2 Wochen). Ich vermute das dies mit meiner Robots.txt zusammen hängt, da meine Seiten Struktur geändert habe und einige bereichte mittels robots.txt geblockt habe. Leider muss ich dadurch manche Bereiche wieder mit einem Allow freigenben (andere möglichkeit gibt es nicht..).

Ich vermute das der Bot der für das Spidern des Inhaltes für Amazon zuständigt ist Probleme mit meiner Robots.txt hat. Würde den entsprechenden User Agent also auch gerne aus der Robots.txt ausschließen, nur leider finde ich nirgends Informationen welcher User Agent dafür in frage kommt.

Komisch ist jedoch, das nur manche Seiten betroffen sind, andere Seiten, die genauso per Robots.txt eingeschränkt sind, funktionieren einwandfrei?!.. Eventuell doch ein Problem seitens Amazon? Wer von euch benutzt SOL und hat eventuell ähnliche Probleme (oder eben nicht)?

Bei eMail anfragen beim Partnernet gabs nur unbrauchbare Antworten mit hinweiß auf den Werbemittel generator (aha..) und das Support Forum (wo ich die Frage bereits gestellt hatte, aber auch keine ANtwort bekomme).

Bei adsense ist es "Mediapartners-Google*", welcher User Agent ist bei Amazon zuständig?

 

[David T.]

Dir ist bewusst, dass ein Crawler nur "Disallow" unterstützen sollte und dass "Allow" eine Sonderform ist, die nur wenige Bots akzeptieren?

 

[hk]

Ist mir bewusst, muss zwar stellenweise ein Allow für manche Seiten machen, g+ nimmt dies aber an. Mit dem Amazon User Agent ist etwas unglücklich von mir ausgedrückt. Ich möchte

CODE User-agent: Mediapartners-Google*
Disallow:


Mit dem User-agent für Amazon. Das Problem hab ich jetzt auch definitiv auf die Robots.txt zurückgeführt.