KI-Crawler aussperren, ohne sich zu schaden

Drei Zwecke, die man auseinanderhalten muss

Der erste Zweck ist das Sammeln von Trainingsmaterial. Der zweite ist der Aufbau eines eigenen Suchindex, aus dem heraus ein Assistent Antworten zusammensetzt und dabei Quellen verlinkt. Der dritte ist der Abruf im Nutzerauftrag: Jemand fügt eine Adresse in einen Chat ein oder stellt eine Frage, und das System holt genau diese eine Seite. Die großen Anbieter verwenden dafür getrennte Kennungen, damit du je Zweck entscheiden kannst.

Praktisch heißt das: Wer nur das Training ausschließen will, sperrt die Sammelkennung und lässt die Such- und Abrufkennungen zu. Wer alles sperrt, verschwindet auch aus den Antworten, in denen er sonst als Quelle verlinkt worden wäre. Diese Entscheidung gehört nicht in die IT allein, sondern zusammen mit Marketing und Rechtsabteilung getroffen.

Ein Sonderfall ist Google-Extended. Das ist kein Crawler, der Seiten holt, sondern ein Name, den du in der robots.txt ansprechen kannst, um die Verwendung deiner Inhalte für bestimmte KI-Produkte zu regeln. Gecrawlt wird weiter vom normalen Googlebot, und die Antwortkästen in der Suche hängen an dieser Indexierung. Wer dort weniger Text zeigen will, arbeitet mit den Snippet-Angaben und nicht mit Google-Extended.

Wie die Gruppen in der robots.txt wirklich gelesen werden

Eine Kennung befolgt genau eine Gruppe, nämlich die mit der genauesten Übereinstimmung ihres Namens, und ignoriert alle anderen vollständig. Eine Gruppe für User-agent: * mit einem Verbot nützt also nichts, wenn weiter unten eine eigene Gruppe für dieselbe Kennung steht, die das Verbot nicht wiederholt. Das ist der häufigste Fehler in gewachsenen Dateien.

Namen werden dabei ohne Rücksicht auf Groß- und Kleinschreibung verglichen, aber nicht als Wortteil: Eine Gruppe für GPTBot gilt nicht für ChatGPT-User, obwohl beide zum selben Anbieter gehören. Jede Kennung, die du regeln willst, braucht ihre eigene Zeile.

Und schließlich: Die robots.txt ist eine Bitte, keine Sperre. Wer sie ignoriert, wird davon nicht aufgehalten. Das ist kein Argument dagegen, sie zu pflegen, wohl aber eines dafür, heikle Inhalte nicht mit ihr zu schützen.

Was ein pauschales Verbot kostet

Sichtbar wird der Verlust erst mit Verzögerung. Seiten, die aus einem Antwortindex fallen, verschwinden nicht sofort, sondern beim nächsten Durchlauf, und die Verweise aus Chatoberflächen versiegen langsam. In der Webanalyse sieht das aus wie ein allgemeiner Rückgang und nicht wie die Folge einer Zeile in einer Textdatei.

Deshalb gehört jede Änderung an dieser Datei ins Änderungsprotokoll, mit Datum und Begründung. Wenn drei Monate später jemand nach der Ursache sucht, ist das die einzige Spur, die weiterhilft.

Was die robots.txt nicht leistet

Sie verhindert das Crawlen, nicht die Aufnahme einer Adresse in einen Index: Eine gesperrte Seite kann weiter als bloße Adresse auftauchen, wenn andere auf sie verlinken. Sie schützt auch nicht rückwirkend, denn was einmal gesammelt wurde, holt kein Eintrag zurück. Und sie gilt je Host und Protokoll, eine Datei auf der Hauptdomain regelt nichts für eine Subdomain.