Sollte man KI-Bots auf seiner Website erlauben?
Veröffentlicht am
Ja für Bots, die der Suche dienen, wenn Sie von KIs zitiert werden möchten; bei solchen, die Trainingsdaten sammeln, ist es eine freie Entscheidung. OpenAI, Anthropic und Google trennen diese beiden Verwendungszwecke: Bei OpenAI wird eine Website, die OAI-SearchBot blockiert, nicht in den Suchantworten von ChatGPT angezeigt, während das Blockieren von GPTBot nur das Training betrifft. Unsere Messungen weisen in die gleiche Richtung: Keine der von ChatGPT zitierten Websites sperrte OAI-SearchBot, aber 3 % von ihnen sperrten GPTBot.
Für welche Art von Frage? Es kommt ganz auf den Bot an. Ein Such-Bot entscheidet, ob Ihre Website in den Antworten erscheinen kann. Ein Trainings-Bot entscheidet, ob Ihre Inhalte zum Trainieren künftiger Modelle verwendet werden dürfen. Beide Einstellungen sind voneinander unabhängig.
Zwei Bot-Familien, zwei unterschiedliche Entscheidungen
OpenAI dokumentiert drei Bots. OAI-SearchBot dient dazu, Websites in den Suchergebnissen von ChatGPT anzuzeigen; eine Website, die ihn ausschließt, wird in den Suchantworten nicht angezeigt, selbst wenn sie noch als Navigationslink erscheinen kann. GPTBot sammelt Inhalte, die zum Trainieren der eigenen Modelle dienen können. ChatGPT-User greift bei bestimmten Benutzeraktionen ein. OpenAI stellt klar, dass jede Einstellung unabhängig ist: Eine Website kann OAI-SearchBot erlauben, um in der Suche zu erscheinen, und gleichzeitig GPTBot blockieren.
Anthropic trifft dieselbe Unterscheidung. ClaudeBot sammelt Inhalte für das Training; das Blockieren schließt künftige Inhalte der Website aus den Trainingsdaten aus. Claude-SearchBot verbessert die Qualität der Suchergebnisse, und Claude-User greift auf Websites zu, wenn ein Benutzer eine Frage stellt; sie zu blockieren, kann die Sichtbarkeit der Website in den Antworten verringern. Bei Google entscheidet Google-Extended, ob Inhalte zum Trainieren künftiger Gemini-Modelle verwendet werden dürfen, und Google stellt klar, dass dies keinen Einfluss auf die Aufnahme einer Website in die Google-Suche oder deren Ranking hat.
Was wir in den robots.txt-Dateien gemessen haben
Wir haben die Datei robots.txt jeder Website ausgelesen, die von den Suchen von ChatGPT, Claude und Gemini in rund zehn auf Französisch abgefragten Branchen am Tag der Datenerhebung, dem 10. September 2026, zurückgegeben wurde. Erste Beobachtung: Die große Mehrheit der Websites erwähnt KI-Bots überhaupt nicht. OAI-SearchBot wird nur von 5 bis 6 % der Websites erwähnt, und GPTBot von 11 bis 16 %, je nachdem, ob sie zitiert wurden oder nicht.
Zweite Beobachtung: Weniger als 1 % der von der ChatGPT-Suche zurückgegebenen Websites blockierten OAI-SearchBot, und keine der von ChatGPT zitierten Websites tat dies, was mit der Dokumentation von OpenAI übereinstimmt. Das Blockieren des Trainings verhinderte die Zitierung hingegen nicht: 3 % der von ChatGPT zitierten Websites sperten GPTBot, verglichen mit 8 % der von ChatGPT ohne Zitierung zurückgegebenen Websites. Bei Claude sperrten 5 % der zitierten Websites ClaudeBot, verglichen mit 4 % der nicht zitierten Websites; bei Gemini blockierten 2 % der zitierten Websites Google-Extended.
Was diese Zahlen bedeuten
Das Blockieren eines Trainings-Bots verschließt nicht den Weg in die Antworten. Websites, die ablehnen, dass ihre Inhalte GPT, Claude oder Gemini trainieren, werden von diesen KIs bei der Websuche dennoch gefunden und zitiert, weil in diesem Moment andere Bots oder die Suchmaschine selbst die Seiten auslesen.
Umgekehrt schließt das Blockieren eines Such-Bots die Website aus den Antworten der jeweiligen KI aus. Bei ChatGPT is der Befund eindeutig: Unter den zitierten Websites haben wir keine einzige gefunden, die OAI-SearchBot blockierte. Diesen Bot zu erlauben, reicht nicht aus, um zitiert zu werden; laut OpenAI reicht es jedoch aus, ihn zu blockieren, um nicht in den Suchantworten angezeigt zu werden.
Was das für ein Unternehmen ändert
Überprüfen Sie Ihre robots.txt-Datei. Wenn Sie zitiert werden möchten, lassen Sie die Such-Bots gewähren: OAI-SearchBot und ChatGPT-User für ChatGPT, Claude-SearchBot und Claude-User für Claude sowie Googlebot für Google und seine KI-Antworten. Stellen Sie außerdem sicher, dass keine Firewall oder kein Bot-Schutzdienst sie bereits vor dem Auslesen der Datei blockiert.
Bei Trainings-Bots wie GPTBot, ClaudeBot und Google-Extended hängt die Entscheidung von Ihrer Richtlinie zur Nutzung Ihrer Inhalte ab, nicht von Ihrer Sichtbarkeit in den Antworten: Unsere Messungen zeigen nicht, dass deren Blockierung eine Zitierung verhindert. Dies ist eine bewusste Entscheidung, die Sie treffen sollten, und keine technische Einstellung, die man dem Zufall überlässt.
Was wir nicht wissen
Wir haben die robots.txt-Dateien am Tag der Datenerhebung ausgelesen, ohne zu überprüfen, ob die Bots diese Dateien tatsächlich respektieren oder ob eine Firewall sie blockiert hat. Claude-SearchBot und Claude-User gehörten nicht zu den ausgelesenen Bots. Eine fehlende Datei wurde so gewertet, als ob kein Bot erwähnt würde.
Quellen
- OpenAI — Crawler von OpenAI, .
- Anthropic — Crawler von Anthropic und Blockierung durch Websites, .
- Google Search Central — gängige Webcrawler von Google, .
- Messungen von FaireDuBruit vom 4. bis 16. September 2026 — siehe „Wie wir gemessen haben“.