Meta Robots-Tag
Um das Verhalten der Spider, die die entsprechende Seite besuchen zu beeinflussen, wird der Meta Robot-Tag im Header einer Webseite verwendet. Zulässige Werte sind: -index (Seite indexieren), -noindex (Seite nicht indexieren) -follow (Links auf der Seite folgen) -no follow (Links auf der Seite nicht folgen), wobei die Werte auch miteinander kombiniert werden können, z.B. <meta name="robots" content="index,nofollow"> - sagt aus: Seite indizieren aber Links darauf nicht verfolgen. oder: <meta name="robots" content="noindex,follow">, <meta name="robots" content="index,follow"> etc. Die entsprechende Webseite wird in den Datenbestand der Suchmaschine aufgenommen, falls der Meta Robots-Tag fehlt. Der Spider folgt dann allen Links, die sich auf der entsprechenden Webseite befinden. Der Einsatz der "Robots.txt"-Datei ist notwendig, um dies zu unterbinden.
