Sie sind hier: Suchmaschinen-Glossar auf www.seofactory.de » S » robots.txt

Die Textdatei Robots.txt teilt dem Spider mit, konkrete Ordner oder Dateien zu lesen. Die Datei befindet sich im Hauptverzeichnis der Webpage. Webseiten die nicht gespidert werden dürfen, sollten bestenfalls Passwortgeschützte Ordner enthalten.