Hi!
Danke!
Ich habe mich mal über den Allow-Operator informiert!
Gefunden habe ich ihn bei:
http://www.google.com/robots.txt
http://www.nytimes.com/robots.txt
Wobei
selfhtml.org
sagt:
QUOTE Es besteht übrigens keine Möglichkeit, Verzeichnisse explizit für die Indizierung zu erlauben. Ein Schlüsselwort Allow: wurde niemals definiert.
Dagegen sagt
wikipediawikipedia:
QUOTE Allow: (Googlebot, Yahoo! Slurp) Auslesen erlauben Disallow: /
Allow: /public Das Verzeichnis /public darf durchsucht werden, der Rest nicht
(Syntaxerweiterung des Googlebot)
google sagt ja selber:
QUOTE Die Erweiterung "Allow"
Googlebot erkennt die der robots.txt-Standarddatei hinzugefügte Erweiterung "Allow". Diese Erweiterung wird unter Umständen nicht von allen Suchrobotern anderer Suchmaschinen erkannt. Überprüfen Sie, ob dies auch für andere Suchmaschinen gilt, an denen Sie interessiert sind. Die "Allow"-Zeile funktioniert genauso wie die "Disallow"-Zeile. Geben Sie einfach das Verzeichnis oder die Seite an, das bzw. die zugelassen werden soll.
Möglicherweise möchten Sie "Disallow" und "Allow" gemeinsam verwenden. Wenn Sie beispielsweise in einem Unterverzeichnis den Zugriff auf alle Seiten bis auf eine sperren möchten, erreichen Sie dieses mit den folgenden Einträgen:
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
Durch diese Einträge wird der Zugriff auf alle Seiten im Verzeichnis folder1 mit Ausnahme der Seite myfile.html gesperrt.
mmh, also Yahoo und Google akzeptieren "allow"! Was ist mit den anderen?
QUOTE Moin,
machs am besten wirklich einfach so:
CODE
User-Agent: *
Disallow: /verzeichnis/datei1.html
Disallow: /verzeichnis/datei2.txt
Somit hast du kein Problem mit dem gesperrten Unterverzeichnis. Sicherlich bei vielen Dateien etwas umständlich aber denke der sauberste Weg für alle SuMas...
Gruß, Dan
Gebe dir recht, dass es die einfachste Lösung wäre, aber bei ein paar tausend Dateien ??
Felix
