Robots.txt und KI-Crawler - Zugriff bewusst steuern

Neben den klassischen Suchmaschinen besuchen inzwischen zahlreiche KI-Bots deine Website. Ob du sie zulässt, ist eine strategische Entscheidung – mit Folgen für Sichtbarkeit, Serverlast und Kontrolle über deine Inhalte. Hier erfährst du, wie du sie triffst und technisch umsetzt.

Drei Arten von Bots unterscheiden

Der wichtigste Schritt vor jeder Sperrung ist zu verstehen, wozu ein Bot deine Seite besucht. In der Praxis gibt es drei Zwecke, und sie werden häufig verwechselt.

Trainings-Crawler sammeln Inhalte, um damit Modelle zu trainieren. Der Nutzen für dich ist indirekt und schwer messbar.

Abruf-Bots holen Inhalte in dem Moment, in dem eine Nutzerin eine Frage stellt. Sie sind die Voraussetzung dafür, dass du in Antworten zitiert und verlinkt werden kannst.

Such-Crawler indexieren für die klassische Suche. Sie zu sperren bedeutet, auf Sichtbarkeit zu verzichten.

Die Konsequenz ist wichtig: Wer pauschal alles sperrt, verliert möglicherweise genau die Sichtbarkeit, die er behalten wollte. Anbieter nutzen teilweise unterschiedliche Kennungen für unterschiedliche Zwecke – und genau diese Unterscheidung solltest du nutzen.

Wie robots.txt funktioniert

Die Datei liegt im Wurzelverzeichnis deiner Domain und wird beim ersten Zugriff abgerufen. Sie besteht aus Blöcken, die jeweils eine Bot-Kennung ansprechen und Regeln festlegen.

Zwei Eigenschaften solltest du kennen. Erstens gilt für jeden Bot nur der Block, der ihn am spezifischsten anspricht – ein allgemeiner Block wird dann nicht zusätzlich ausgewertet. Zweitens ist robots.txt eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, andere nicht.

Wichtig ist ausserdem die Erinnerung an eine klassische Verwechslung: Ein Ausschluss verhindert das Abrufen, nicht zwingend das Erscheinen einer URL in Ergebnissen. Für die Indexierung ist ein Meta-Robots-Tag zuständig – und der kann nur gelesen werden, wenn die Seite abgerufen werden darf.

Weitere Steuerungsmöglichkeiten

Neben robots.txt gibt es zwei Ebenen, die in der Praxis relevant sind.

Auf Seitenebene lassen sich über Meta-Angaben Einschränkungen für Textausschnitte, Bildvorschauen und Videolängen setzen. Diese wirken allerdings nicht selektiv – sie betreffen auch normale Suchergebnisse.

Auf Serverebene kannst du Zugriffe anhand verifizierter Kennungen blockieren. Das ist die einzige Massnahme, die auch gegen Bots wirkt, die sich nicht an robots.txt halten. Der Aufwand ist höher, und du brauchst eine Pflegeroutine, weil sich Kennungen und Adressbereiche ändern.

Manche Anbieter bieten zusätzlich Verwaltungsoberflächen an, in denen sich der Umgang mit den eigenen Inhalten steuern lässt. Ein Blick darauf lohnt sich, ersetzt aber die technische Umsetzung nicht.

Die Abwägung: Zulassen oder sperren?

Es gibt keine allgemein richtige Antwort. Die Entscheidung hängt von deinem Geschäftsmodell ab.

Für Zulassen spricht, wenn deine Inhalte Werbung für eine Leistung sind. Sichtbarkeit in Antworten, Nennung deiner Marke und Verlinkung wirken dann wie jede andere Reichweite. Wer sperrt, verschwindet aus einem wachsenden Kanal.

Für Einschränken spricht, wenn deine Inhalte das Produkt selbst sind. Verlage, Datenbanken, Kursanbieter und Fachmedien haben ein berechtigtes Interesse daran, nicht zur kostenlosen Grundlage fremder Angebote zu werden.

Ein gangbarer Mittelweg für viele Projekte: Abruf-Bots zulassen, damit Zitierung und Verlinkung möglich bleiben, und Trainings-Crawler einschränken. Ergänzend kannst du einzelne Bereiche gezielt schützen, etwa kostenpflichtige Inhalte oder Archive, statt die gesamte Domain.

Serverlast im Blick behalten

Ein oft übersehener Aspekt: Die Zahl der Bots ist deutlich gestiegen, und einige crawlen intensiv. Bei kleineren Hostings kann das spürbare Last erzeugen.

Prüfe in deinen Serverlogs, welcher Anteil deines Traffics von Bots stammt und wie er sich verteilt. Wenn einzelne Kennungen unverhältnismässig viele Zugriffe erzeugen, ist eine Begrenzung eine legitime Massnahme – unabhängig von der inhaltlichen Grundsatzfrage.

Rechtliche und wirtschaftliche Einordnung

Die Frage, unter welchen Bedingungen Inhalte für das Training verwendet werden dürfen, ist rechtlich in Bewegung. In Europa gibt es Regelungen zum Vorbehalt von Nutzungsrechten, deren praktische Umsetzung sich derzeit einspielt.

Für dich heisst das zweierlei. Erstens: Wenn du eine Nutzung nicht wünschst, solltest du diesen Vorbehalt maschinenlesbar erklären – robots.txt ist dafür der etablierte Ort. Ein stillschweigendes Nichtstun wird kaum als Widerspruch gewertet.

Zweitens: Kläre die Frage nicht allein im Marketing. Bei Verlagen, Datenbanken und Anbietern kostenpflichtiger Inhalte gehört sie in die Geschäftsführung und gegebenenfalls in die Rechtsabteilung – die Entscheidung betrifft das Geschäftsmodell, nicht nur die Sichtbarkeit.

Geh in vier Schritten vor. Erstens: Klär intern, ob deine Inhalte Marketing oder Produkt sind – daraus folgt die Grundhaltung. Zweitens: Erstelle eine Liste der Bots, die du zulassen, einschränken oder sperren willst, getrennt nach Zweck. Drittens: Setz die Regeln in robots.txt um, bei Bedarf ergänzt durch serverseitige Massnahmen. Viertens: Prüfe in den Logs, ob die Regeln greifen.

Plane ausserdem eine halbjährliche Überprüfung ein. Es kommen laufend neue Kennungen hinzu, und eine Datei, die vor einem Jahr vollständig war, ist es heute nicht mehr.

Typische Fehler in der robots.txt

Zu breit gesperrt. Ein Ausschluss für alle Bots, der versehentlich auch Such-Crawler trifft, kostet Sichtbarkeit – und fällt oft erst Wochen später auf.

Widersprüchliche Blöcke. Wenn ein spezifischer Block existiert, gilt der allgemeine für diesen Bot nicht mehr. Regeln, die du dort ergänzt hast, greifen dann nicht.

Sperre plus noindex. Eine gesperrte Seite wird nicht abgerufen, also wird auch das noindex-Tag nie gelesen.

Keine Kontrolle nach der Änderung. Prüfe nach jeder Anpassung in den Logs, ob sich das Verhalten tatsächlich geändert hat.

Kommunikation nach innen

Ein praktischer Hinweis zum Schluss: Die Entscheidung über KI-Crawler wird oft von einer Person getroffen und von niemandem dokumentiert. Ein halbes Jahr später weiss keiner mehr, warum bestimmte Regeln existieren – und beim nächsten Relaunch verschwinden sie.

Halte deshalb schriftlich fest, welche Bots zugelassen sind, welche nicht und aus welchem Grund. Ergänze, wer die Entscheidung getroffen hat und wann sie überprüft werden soll.

Das klingt nach Formalismus, verhindert aber zwei typische Pannen: das versehentliche Entfernen der Regeln beim Serverumzug und die endlose Wiederholung derselben internen Diskussion.

Fazit

Die Frage nach KI-Crawlern ist keine rein technische, sondern eine geschäftliche. Sperren schützt Inhalte, kostet aber Sichtbarkeit und beides trifft nicht jedes Unternehmen gleich.

Unterscheide zwischen Training, Live-Abruf und Suche, statt pauschal zu entscheiden. Setz die Regeln bewusst und dokumentiere, warum sie so aussehen. Und kontrolliere in den Logs, ob die Realität deinen Vorgaben entspricht, bei Bots, die sich nicht an Absprachen halten, hilft nur die Serverebene.

Quelle: Searchengineland.com