Sie sind hier: Suchmaschinen-Glossar auf www.seofactory.de » R » Robot

Robots bewegen sich durch das Internet und überfliegen die Inhalte der Webseiten, die später von den Suchmaschinen indexiert werden. Die Webseiten die vom Robot besichtigt werden wurden bei der Suchmaschine im Vorfeld anmeldet. Der Spider ist auch befähigt Links zu folgen und kommt in diesem Fall auf neue Seiten, die nicht bei der Suchmaschine registriert wurden. Wann der Spider auf die Webseite - im Falle einer Aktualisierung - zurückkehren soll wird vom Meta-Tag "robot" bestimmt.