Diese einfache Textdatei liegt im Rootverzeichnis Ihrer Internetpräsentation
und wird von Suchmaschinen-Bots regelmäßig ausgewertet.
Sie enthält Angaben darüber, welche Bereiche Ihrer Seite von einer
Suchmaschine in den Suchmaschinen-Index aufgenommen werden dürfen
und welche Unterseiten vor dem Index verborgen werden sollen.
Detaillierte Beschreibung der Robots.txt erhalten Sie
unter de.selfhtml.org.
Wenn der Suchmaschinen-Bot einer beliebigen Suchmaschine
jede Seite Ihrer Webpräsenz in den Suchmaschinenindex
aufnehmen dürfen soll, so kann der Inhalt Ihrer robots.txt etwa wir folgt aussehen:
User-agent: *
Disallow:
Möchten Sie den Suchmaschinen-Bots den Zugriff auf verschiedene Verzeichnisse verwehren,
dann könnte Ihre robots.txt wie folgt aussehen:
Außerdem können Sie Ihrer robots.txt noch Informationen
darüber hinzufügen, wo die Sitemap Ihrer Website abgelegt ist.
Diese Angabe können Sie in einer beliebigen Zeile vornehmen.
Dabei verwenden Sie folgendes Format:
Diese einfache Textdatei liegt im Rootverzeichnis Ihrer Internetpräsentation
und wird von Suchmaschinen-Bots regelmäßig ausgewertet.
Sie enthält Angaben darüber, welche Bereiche Ihrer Seite von einer
Suchmaschine in den Suchmaschinen-Index aufgenommen werden dürfen
und welche Unterseiten vor dem Index verborgen werden sollen.
