Robots.txt

[hk]

Ich benutze ein Shop Script welches in der Menüstruktur automatisch einen link auf die datei shop.php erstellt. Dieser wird jedoch mit ModRewirite auf home.html umgeschrieben. Also zielt der Link dann auf home.html. In dem Root verzeichnis liegt eine .htacces mit dem Inhalt "DirectoryIndex shop.php" so das beim aufruf der domain.de der Shop aufgerufen wird.

Dadurch wird die Seite also unter domain.de und domain.de/home.html mit dem selben Inhalt gespidert.

Kann ich das einfach durch eine robots.txt verhindern:

User-agent: *
Disallow: /home.html

So das die Seite nur unter domain.de in den Index kommt, nicht unter domain.de/home.html? Oder muß ich die shop.php auch in die robots.txt schreiben?

 

[cusco_ii]

Wenn ich nach meinen Anbieter gehe ist home.html mit index.html gleich zu setzen, wenn Du also home sperrst dann wird auch die Startseite von domain.de/ komplett gesperrt.

Edit: Oh das Thema ist ja schon 4 Monate alt