KI-Bots in der robots.txt steuern
KI-Bots rufen Websites für unterschiedliche Zwecke ab: Training, Suche oder eine konkrete Nutzerfrage. User-Agent-Namen und robots.txt-Kennzeichen helfen, diese Zwecke getrennt zu steuern. Nicht jeder Anbieter behandelt nutzerinitiierte Abrufe wie automatisches Crawling.
Die drei Zwecke
Training. GPTBot und ClaudeBot dienen laut Anbieter der Sammlung potenzieller Trainingsdaten. Eine Nutzung im Training garantiert weder Nennung noch Verlinkung. Google-Extended und Applebot-Extended sind dagegen Steuerkennzeichen für bestimmte Nutzungen, keine eigenen Crawler.
Suchindex des Anbieters. Der Bot baut einen durchsuchbaren Bestand auf, aus dem heraus dein Inhalt als Quelle genannt und verlinkt werden kann. Hierher gehören OAI-SearchBot, Claude-SearchBot und PerplexityBot.
Abruf im Moment der Frage. ChatGPT-User, Claude-User und Perplexity-User stehen für nutzerinitiierte Zugriffe. Ob robots.txt greift, ist anbieterspezifisch: OpenAI weist ausdrücklich darauf hin, dass die Regeln bei diesen Nutzeraktionen möglicherweise nicht gelten. Ein Abruf ist noch keine Zusage einer Quellenangabe.
Stand dieser Aufstellung: September 2026. User-Agent-Namen und Zwecke ändern sich, verbindlich sind die Dokumentationen der jeweiligen Anbieter.
Was Sperren jeweils bewirkt
Training und Suche lassen sich bei Anbietern mit getrennten Kennzeichen unterschiedlich behandeln. OpenAI dokumentiert beispielsweise, dass GPTBot gesperrt und OAI-SearchBot gleichzeitig erlaubt werden kann.
Ein gesperrter Suchbot kann die Aufnahme als Quelle in den zugehörigen Suchfunktionen verhindern oder einschränken. Daraus folgt aber nicht, dass jede mögliche Erwähnung verschwindet: Andere Quellen, gespeicherte Informationen oder Navigationslinks können weiterhin eine Rolle spielen.
Eine Sperre direkter Nutzerabrufe kann das Lesen deiner Seite verhindern. Ob das erwünscht ist, hängt vom Geschäftsmodell und den Schutzanforderungen ab. Eine pauschale Empfehlung für alle Websites wäre zu grob.
Der Sonderfall Google-Extended
Google-Extended ist ein Steuerkennzeichen in der robots.txt und kein eigener HTTP-User-Agent. Es betrifft bestimmte Nutzungen für Training und Grounding in anderen Google-KI-Systemen, nicht die Aufnahme in die Google-Suche.
Eine Sperre von Google-Extended ist kein Ausschluss aus AI Overviews oder AI Mode. Google beschreibt für die Begrenzung verwendbarer Suchinhalte unter anderem nosnippet, data-nosnippet und max-snippet; noindex schließt die Seite aus dem Index aus. Googlebot pauschal zu blockieren ist dafür nicht die einzige Möglichkeit und kann zusätzlich die Verarbeitung dieser Angaben verhindern.
Dieselbe Logik gilt für Applebot-Extended: Kennzeichen für die Nutzung, nicht für das Crawling.
Wann Sperren sinnvoll ist
Es gibt Fälle, in denen die Abwägung anders ausgeht. Bezahlinhalte, deren Wert im exklusiven Zugang liegt. Umfangreiche Archive und Datenbanken, deren Aufbau die eigentliche Leistung war. Bildbestände mit eigenen Rechten. Und Bereiche, in denen personenbezogene Daten stehen, die ohnehin nicht in einen Index gehören.
Für öffentlich zugängliche Leistungen, Fachbeiträge und Produktinformationen ist Auffindbarkeit häufig erwünscht. Private Daten und exklusive Inhalte brauchen dagegen passende Zugangskontrollen. robots.txt ersetzt weder Login noch Berechtigungsprüfung.
Kommentierte Vorlage
Dieses Beispiel trennt einige Suchzugriffe von Trainingskennzeichen. Es ist keine vollständige Bot-Liste und garantiert keine Nennung. Übernimm die Regeln in deine bestehende Datei, statt andere Regeln zu überschreiben; die Sitemap-URL muss durch deine eigene ersetzt werden.
# Suchindex und Live-Abruf ausdrücklich erlauben –
# sie können das Auffinden von Quellen ermöglichen.
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
# Auswahl von Trainings-Crawlern sperren.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Kennzeichen, keine Crawler: regelt nur die Nutzung.
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# Regulärer Suchindex bleibt unangetastet.
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xmlWer bestimmte Nutzungen erlauben möchte, passt die entsprechenden Gruppen einzeln an. Google-Extended betrifft mehr als nur Training. User-agent: * zusammen mit Disallow: / ist kein gezielter KI-Schalter; es kann auch gewöhnliche Suchmaschinen aussperren.
Was die robots.txt nicht leistet
robots.txt ist ein freiwillig befolgtes Crawling-Protokoll, keine Zugriffssperre. Nutzungszweck und Anbieterregeln sind zu beachten. Technische Beschränkungen gehören auf Server- oder CDN-Ebene; vertrauliche Inhalte brauchen Authentifizierung. Ein User-Agent allein ist leicht nachzuahmen.
Und sie ist öffentlich lesbar. Was dort steht, sagt jedem, welche Verzeichnisse es gibt. Als Versteck taugt sie nicht.
Kontrollieren, wer tatsächlich kommt
Die robots.txt sagt, was erlaubt ist. Das Server-Log sagt, was passiert. Ein Blick auf die User-Agents der letzten dreißig Tage zeigt, welche KI-Bots deine Seite überhaupt besuchen, wie oft, und ob sie sich an die Vorgaben halten.
Bot-Zugriffe sind eine technische Betriebskennzahl, kein verlässlicher Zähler für KI-Sichtbarkeit. Eine Seite kann über einen früheren Indexstand oder durch andere Quellen erwähnt werden. Für eine Bewertung müssen Zugriffsprotokolle, tatsächliche Quellenverweise und beobachtete Antworten getrennt betrachtet werden.