Robots.txt

Die robots.txt ist eine Datei, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie aufrufen dürfen und welche nicht. Die Datei liegt am Stamm eines Hosts unter /robots.txt und enthält Regeln für Crawler, die das Protokoll beachten. Die Datei kontrolliert weder den Zugriff aller Bots noch private Daten.

Wie funktioniert die robots.txt?

In der Datei wird über einfache Regeln festgelegt, welche Pfade ein Crawler besuchen darf und welche für ihn gesperrt sind. Grosse Suchmaschinen respektieren die Regeln für ihre jeweiligen User-Agent-Gruppen. Du nutzt robots.txt vor allem, um bestimmte URL-Bereiche vom Crawling auszuschliessen.

Wofür wird die robots.txt eingesetzt?

Typisch ist das Sperren von Bereichen ohne Mehrwert für die Suche, etwa interne Verzeichnisse, Suchergebnisse oder doppelte Inhalte. Bei grossen oder sehr URL-reichen Websites kann das unnötige Abrufe begrenzen. Ein Sitemap-Verweis in robots.txt kann die Entdeckung unterstützen, garantiert weder Tempo noch Indexierung.

Unterschied zur Indexierung

Die robots.txt steuert das Crawling, nicht zuverlässig die Indexierung, denn eine gesperrte Seite kann trotzdem in den Ergebnissen erscheinen, wenn sie verlinkt ist. Weil Google den Inhalt dann nicht lesen darf, erscheint ein solcher Treffer in der Regel ohne Beschreibung. Soll Google eine abrufbare Seite aus Suchergebnissen entfernen, ist eine lesbare noindex-Anweisung das passende Mittel. Die Anweisung wirkt nach erneutem Crawl; andere Suchcrawler müssen die Regel ebenfalls unterstützen. Beide Werkzeuge erfüllen unterschiedliche Aufgaben.

Die robots.txt richtig nutzen

Wichtig ist, keine Seiten zu sperren, die indexiert werden sollen, und keine Ressourcen zu blockieren, die für die Darstellung nötig sind. Eine fehlerhafte robots.txt kann ganze Bereiche vom Crawling ausschliessen; bereits bekannte URLs können trotzdem ohne Inhaltsbeschreibung erscheinen. Die Datei sollte deshalb mit Bedacht gepflegt und regelmässig geprüft werden. Schon ein falsch gesetzter Eintrag kann grosse Teile einer Website aus dem Crawling ausschliessen.

 

Verwandte Begriffe: No-Index-Tag und Sitemap.