KI-Crawler erklärt: GPTBot, ClaudeBot, PerplexityBot und Co.

Die Bots, Unternehmen für Unternehmen

Stellen Sie sich robots.txt wie ein Schild an einer Ladentür vor: "Lieferungen hinten, Kunden vorne willkommen." Das funktioniert nur, wenn jeder Besucher Schilder liest — und es sortiert Besucher nur dann in Gruppen, wenn Sie wissen, welches Schild für wen gilt. Hier ist, wer tatsächlich anklopft.

OpenAI dokumentiert vier getrennte Bots. GPTBot sammelt Text, um die eigenen Modelle zu trainieren und zu verbessern — vergleichbar mit einem Forscher, der Bibliotheksbücher liest, um klüger zu werden, nicht um eine bestimmte Frage zu beantworten. OAI-SearchBot ist anders: Er durchsucht Seiten, damit ChatGPTs Suchfunktion sie finden und zitieren kann, wenn ein Nutzer etwas fragt — eher die Rolle einer Suchmaschine, die das Web indexiert. ChatGPT-User besucht eine Seite genau in dem Moment, in dem eine Person mit ChatGPT chattet und der Assistent live etwas prüfen muss — man kann es sich vorstellen wie einen Verkäufer, der vor den Augen der Kundschaft kurz ins Lager geht, um nachzusehen, ob etwas vorrätig ist. OAI-AdsBot prüft, ob als ChatGPT-Anzeigen eingereichte Seiten sicher zu empfehlen sind. OpenAI dokumentiert alle vier Bots und ihr Verhalten gegenüber robots.txt auf seiner Entwicklerseite.

Anthropic (das Unternehmen hinter Claude) betreibt drei. ClaudeBot sammelt Seiten für das Modelltraining, dieselbe Bibliotheksrolle wie GPTBot. Claude-SearchBot durchsucht Seiten, um zu verbessern, was Claude finden und in Suchergebnissen zitieren kann. Claude-User ruft eine bestimmte Seite genau dann ab, wenn ein Claude-Nutzer danach fragt — dasselbe "vor den Augen des Kunden nachsehen"-Verhalten wie ChatGPT-User. Anthropic erklärt alle drei Bots und wie man jeden einzeln steuert in seinem Hilfe-Center.

Perplexity beschränkt sich auf zwei. PerplexityBot durchsucht und indexiert Seiten, damit Perplexitys Antworten darauf verlinken können — wieder die Indexierungsrolle. Perplexity-User ruft im Auftrag eines Nutzers live eine Seite ab, in dem Moment, in dem eine Frage sie braucht. Perplexitys eigene Dokumentation nennt beide und erklärt den Unterschied.

Zwei Aufgaben, nicht eine: Training gegen "jetzt gerade"

Sobald man dieses Muster erkennt, reduziert sich die ganze Bot-Vielfalt auf zwei einfache Kategorien — und genau diese Unterscheidung ändert, was Sie tatsächlich tun sollten.

Trainings- und Indexierungs-Bots — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — besuchen nach ihrem eigenen Zeitplan, unabhängig von einem einzelnen Kunden. So bauen diese Unternehmen im Lauf der Zeit allgemeines Wissen und einen durchsuchbaren Index des Webs auf. Einen davon zu blockieren, sagt dem Unternehmen "nutzt meine künftigen Seiten nicht dafür" — eine echte, bedeutsame Entscheidung, die aber langsam wirkt und nichts an dem ändert, was vor der Blockierung bereits gelernt wurde.

Nutzerausgelöste Bots — ChatGPT-User, Claude-User, Perplexity-User — besuchen, weil eine echte Person mitten im Gespräch den Assistenten gebeten hat, jetzt sofort auf Ihre Seite zu schauen: um einen aktuellen Preis zu prüfen, die heutige Speisekarte zu lesen oder Ihre Öffnungszeiten zu bestätigen. Sowohl OpenAI als auch Perplexity erklären ausdrücklich, dass diese Art von Besuch robots.txt möglicherweise nicht auf dieselbe Weise respektiert wie ein automatisierter Crawl, weil die Anfrage von einer Person kam — die Überlegung dahinter: Wer eine direkte Frage stellt, verdient denselben Zugriff, den er auch durch einen eigenen Klick auf den Link hätte.

Deshalb geht das pauschale Blockieren "des KI-Bots" als undifferenziertes Ganzes so oft nach hinten los: Sie können den Crawler abschalten, der Ihr Unternehmen nächsten Monat besser auffindbar gemacht hätte, ohne damit auch nur ansatzweise zu verhindern, dass eine Seite morgen live abgerufen wird — weil dieser Abruf ohnehin nie Ihrer war, um ihn zu blockieren.

Die eigenen Server-Logs lesen, um zu sehen, wer wirklich da war

Sie brauchen keine spezielle Software, um zu prüfen, ob etwas davon auf Ihrer Website passiert. Jeder Webserver führt ein Zugriffsprotokoll — eine laufende Liste jedes Besuchers und dessen, was er sich angesehen hat — und jeder Crawler identifiziert sich in einer Zeile namens User-Agent, ähnlich wie ein Zusteller einen Ausweis zeigen könnte.

Wenn Ihre Website mit Shell-Zugriff gehostet wird, können Sie dieses Protokoll selbst durchsuchen. Ein so einfacher Befehl wie die Suche nach "GPTBot", "ClaudeBot" oder "PerplexityBot" in Ihrem Zugriffsprotokoll zeigt jeden Besuch mit Datum, der genauen angeforderten Seite, und ob der Server den Besuch durchgelassen oder blockiert hat. Die meisten Hosting-Kontrollpanels (cPanel, Plesk und ähnliche) bieten dasselbe Protokoll über einen anklickbaren "Rohlog"- oder "Besucherprotokoll"-Bildschirm, falls Sie die Kommandozeile lieber vermeiden.

Zwei Dinge lohnen sich, sobald man sie gefunden hat: wann ein bestimmter Bot zuletzt vorbeigeschaut hat (ein Trainings-Bot, der nie besucht hat, bedeutet, dass Ihre Seiten noch nicht Teil der Trainingsdaten dieses Unternehmens sind), und ob die Anfragen erfolgreich waren oder blockiert wurden — eine Seite, die GPTBot einen Fehler zurückgibt, gibt diesen Fehler womöglich auch dem Browser eines echten Kunden zurück, und das sollte man so oder so wissen.

Eine robots.txt schreiben, die hilft statt zu verstecken

robots.txt ist eine einfache Textdatei, die Sie im Stammverzeichnis Ihrer Website ablegen (ihreseite.de/robots.txt) und die Regeln auflistet, welche automatisierten Besucher welche Teile Ihrer Website lesen dürfen. Googles Crawling-Dokumentation — für den eigenen Such-Crawler geschrieben, aber das Dateiformat teilen sich alle Bot-Betreiber — ist die klarste Erklärung der Syntax, wenn Sie noch nie eine geöffnet haben.

Für fast jedes lokale oder kleine Unternehmen ist der sicherste Ausgangspunkt der einfachste: jedem Crawler erlauben, jede öffentliche Seite zu lesen, und keine speziellen Disallow-Regeln für KI-Bots schreiben. Der Vorteil, gecrawlt zu werden, ist die Chance, erwähnt, verglichen und empfohlen zu werden; der Nachteil des Blockierens ist, komplett aus einer Antwort herauszufallen, ohne es je zu erfahren. Es gibt keine Version von "teilweise blockiert", die einen Assistenten dazu bringt, Sie wohlwollender zu beschreiben — es kann Sie für diesen einen Bot nur unsichtbar machen.

Die zwei echten Ausnahmen sind Seiten, die Sie auch keiner Suchmaschine zeigen wollten — ein privates Kundenportal, eine interne Admin-Seite, ein unveröffentlichter Entwurf —, die ohnehin schon eine Disallow-Regel für jeden Crawler tragen sollten, KI oder nicht. Und eine Seite, die wirklich irreführend ist, wenn sie außerhalb des Kontexts gelesen wird, ohne das Design und die Hinweise, die sie auf Ihrer Website umgeben — selten, aber einen zweiten Blick wert, falls das auf Sie zutrifft.

Wenn Sie sich doch entscheiden, einen bestimmten Bot zu blockieren, verwenden Sie seinen exakten Namen — "GPTBot", nicht "OpenAI", nicht "KI-Bots" —, denn jeder Bot befolgt nur Regeln, die für seinen eigenen Namen geschrieben sind. Eine Regel, die GPTBot blockiert, hat keine Wirkung auf OAI-SearchBot und umgekehrt; genau diese Trennung ist der ganze Grund, warum diese Unternehmen ihre Bots von Anfang an aufgeteilt haben.

• Listen Sie jeden Bot, den Sie ansprechen wollen, mit seinem exakten Namen auf — eine User-agent-Zeile pro Bot.
• Lassen Sie die Datei frei von KI-spezifischen Disallow-Regeln, außer eine Seite ist wirklich privat.
• Prüfen Sie die Datei nach jedem Website-Umzug erneut — ein neuer Hoster liefert manchmal eine Standard-robots.txt, die alles blockiert.
• Testen Sie die veröffentlichte Datei unter ihreseite.de/robots.txt im Browser nach der Veröffentlichung; ein Tippfehler hier bleibt lautlos und wird leicht übersehen.

FAQ