Sie sind hier: Suchmaschinen-Glossar auf www.seofactory.de » S » Spider

Robots bewegen sich im Internet fort und lesen die Inhalte der Webseiten. Später werden diese Inhalte von den Suchmaschinen indexiert. Die Webseiten die vom Robot aufgesucht werden, wurden vorher bei der Suchmaschine registriert. Auch Links kann der Spider folgen und gelangt dabei auf neue Seiten, die nicht bei der Suchmaschine registriert wurden. Der Meta-Tag "robot" legt fest, wann der Spider - im Falle dass die Webseite aktualisiert wurde - auf diese zurückkehren soll.