robots.txt

Die Datei robots.txt wurde als Standard definiert, um Suchmaschinen mitzuteilen, dass eine Website oder Teile davon nicht indexiert werden sollen. Dies macht man sich zu Nutzen, um beispielsweise den Admin-Bereich einer Website von der Indexierung auszunehmen. Oft wird die Datei während des Aufbaus einer neuen Website eingesetzt, da man die Inhalte erst den Suchmaschinen mitteilen möchte, wenn die Website komplett fertiggestellt und veröffentlicht wurde.

Wir beschreiben folgend, wie du eine robots.txt-Datei erstellst und verhinderst, dass deine Website indexiert wird.

1

Erstelle im Zielordner deiner Domain eine Datei mit dem Namen robots.txt gemäss «Dateien auf dem Webhosting verwalten».

Die Datei muss exakt so benannt und in Kleinbuchstaben geschrieben sein, damit sie korrekt interpretiert wird.

2

Bearbeite die Datei und füge folgende Zeile ein.

User-agent: *
Disallow: /

Mit diesen Zeilen teilst du allen Suchmaschinen mit, dass keine Datei und kein Verzeichnis indexiert werden soll.

Weitere Informationen zur Syntax der robots.txt findest du im entsprechenden Wikipedia-Artikel.

Alternative Methode

Es gibt neben der robots.txt auch die Möglichkeit, Instruktionen über das Meta-Tag im HTML-Code pro Seite zu vergeben. Möchtest du beispielsweise nur bei einer bestimmten Seite verhindern, dass deren Inhalt indexiert wird, so kannst du im Header der Seite folgenden Meta-Tag erstellen.

<meta name="robots" content="noindex,nofollow">