KI-Crawler in der robots.txt blockieren: was wirklich greift

Drei Zwecke, die man auseinanderhalten muss

Der erste Zweck ist das Sammeln von Trainingsmaterial. Der zweite ist der Aufbau eines eigenen Suchindex, aus dem heraus ein Assistent Antworten zusammensetzt und dabei Quellen verlinkt. Der dritte ist der Abruf im Nutzerauftrag: Jemand fügt eine Adresse in einen Chat ein oder stellt eine Frage, und das System holt genau diese eine Seite. Die großen Anbieter verwenden dafür getrennte Kennungen, damit du je Zweck entscheiden kannst.

Praktisch heißt das: Wer nur das Training ausschließen will, sperrt die Sammelkennung und lässt die Such- und Abrufkennungen zu. Wer alles sperrt, verschwindet auch aus den Antworten, in denen er sonst als Quelle verlinkt worden wäre. Diese Entscheidung sollte die IT nicht allein treffen, sondern gemeinsam mit Marketing und Rechtsabteilung.

Ein Sonderfall ist Google-Extended. Das ist kein Crawler, der Seiten holt, sondern ein Name, den du in der robots.txt ansprechen kannst, um die Verwendung deiner Inhalte für bestimmte KI-Produkte zu regeln. Gecrawlt wird weiter vom normalen Googlebot, und die Antwortkästen in der Suche hängen an dieser Indexierung. Wer dort weniger Text zeigen will, arbeitet mit den Snippet-Angaben nosnippet, data-nosnippet und max-snippet, die Google auch für die KI-Übersichten und den KI-Modus auswertet, und nicht mit Google-Extended.

Die Kennungen der großen Anbieter, Stand Oktober 2026

OpenAI trennt drei Kennungen: GPTBot sammelt Trainingsmaterial, OAI-SearchBot baut den Index für die Suche in ChatGPT auf, und ChatGPT-User holt eine Seite, wenn jemand im Chat danach fragt. Anthropic folgt demselben Schema mit ClaudeBot für das Training, Claude-SearchBot für die Suche und Claude-User für Abrufe im Nutzerauftrag. Perplexity führt in seiner Dokumentation PerplexityBot für den Suchindex und Perplexity-User für einzelne Abrufe.

Reine Nutzungserlaubnisse ohne eigenen Crawler sind Google-Extended und Applebot-Extended. Beide regeln, ob Inhalte, die der normale Crawler ohnehin holt, für das Training von KI-Modellen verwendet werden dürfen, bei Google zusätzlich für das Grounding in Gemini und Vertex AI. Die Aufnahme in die normale Suche bleibt davon unberührt. CCBot von Common Crawl ist ein eigener Fall: Er baut ein frei zugängliches Webarchiv auf, das auch als Trainingsgrundlage für Sprachmodelle dient, und gehört deshalb in jede Entscheidung über Trainingsmaterial.

Bei den Abrufkennungen lohnt das Kleingedruckte. OpenAI schreibt, dass für ChatGPT-User die Regeln der robots.txt unter Umständen nicht gelten, weil eine Person den Abruf auslöst, und Perplexity gibt für Perplexity-User an, dass die Kennung die robots.txt in der Regel ignoriert. Anthropic erklärt, dass alle drei eigenen Kennungen die Datei beachten. Wer Abrufe im Nutzerauftrag tatsächlich verhindern will, braucht deshalb eine serverseitige Sperre. Die Liste ändert sich, also prüf sie vor jeder Änderung gegen die Dokumentation der Anbieter.

Wie die Gruppen in der robots.txt wirklich gelesen werden

Eine Kennung befolgt genau eine Gruppe, nämlich die mit der genauesten Übereinstimmung ihres Namens, und ignoriert alle anderen vollständig. Eine Gruppe für User-agent: * mit einem Verbot nützt also nichts, wenn weiter unten eine eigene Gruppe für dieselbe Kennung steht, die das Verbot nicht wiederholt. Das ist der häufigste Fehler in gewachsenen Dateien.

Namen werden dabei ohne Rücksicht auf Groß- und Kleinschreibung verglichen, aber nicht als Wortteil: Eine Gruppe für GPTBot gilt nicht für ChatGPT-User, obwohl beide zum selben Anbieter gehören. Jede Kennung, die du regeln willst, braucht ihre eigene Zeile.

Und schließlich: Die robots.txt ist eine Bitte, keine Sperre. Wer sie ignoriert, wird davon nicht aufgehalten. Das ist kein Argument dagegen, sie zu pflegen, wohl aber eines dafür, heikle Inhalte nicht mit ihr zu schützen.

Was ein pauschales Verbot kostet

Sichtbar wird der Verlust erst mit Verzögerung. Seiten, die aus einem Antwortindex fallen, verschwinden nicht sofort, sondern beim nächsten Durchlauf, und die Verweise aus Chatoberflächen versiegen langsam. In der Webanalyse sieht das aus wie ein allgemeiner Rückgang und nicht wie die Folge einer Zeile in einer Textdatei.

Deshalb gehört jede Änderung an dieser Datei ins Änderungsprotokoll, mit Datum und Begründung. Wenn drei Monate später jemand nach der Ursache sucht, ist das die einzige Spur, die weiterhilft.

Was die robots.txt nicht leistet

Sie verhindert das Crawlen, nicht die Aufnahme einer Adresse in einen Index: Eine gesperrte Seite kann weiter als bloße Adresse auftauchen, wenn andere auf sie verlinken. Sie schützt auch nicht rückwirkend, denn was einmal gesammelt wurde, holt kein Eintrag zurück. Und sie gilt je Host und Protokoll, eine Datei auf der Hauptdomain regelt nichts für eine Subdomain.