So verifizieren Sie echte KI-Crawler-Besuche in Ihren Server-Logs
Von Zakaria Reziki
CEO — Growli · 30. September 2026 · 5 Min. Lesezeit
Mit KI-Unterstützung nach den redaktionellen Standards von Zakaria Reziki verfasst und nach automatisierten Quellen- und Qualitätsprüfungen veröffentlicht.
Eine Zeile in Ihren Server-Logs mit „GPTBot“ ist kein Beweis dafür, dass Sie von OpenAIs Crawler besucht wurden — sie beweist nur, dass eine Anfrage behauptet hat, GPTBot zu sein, und das kann jeder behaupten. Der User-Agent-String ist nur ein Satz, den die Software eines Besuchers seiner Anfrage beifügt, und nichts hindert einen Scraper, das Werkzeug eines Konkurrenten oder einen neugierigen Studenten daran, jeden beliebigen Namen einzutippen.
Glücklicherweise haben alle wichtigen KI-Crawler-Betreiber dies genauso gelöst wie Suchmaschinen es bereits getan haben: indem sie die echte Liste der IP-Adressen veröffentlichen, die ihre Crawler tatsächlich verwenden, sodass jeder einen behaupteten Besuch mit der Realität abgleichen kann. Dieser Artikel führt genau durch, wie das geht, anhand der von den Unternehmen selbst veröffentlichten Verifizierungsseiten.
Warum der Name in Ihren Logs allein nicht ausreicht
Stellen Sie sich die Website einer Zahnarztpraxis vor, deren Logs im letzten Monat fünfzig Besuche von etwas zeigen, das sich selbst „GPTBot“ nennt. Das fühlt sich wie ein Beweis an, dass OpenAI die Seite liest. Aber ein User-Agent-String ist vollständig selbst angegeben — wie ein Besucher am Empfang, der einfach seinen Namen laut sagt, ohne dass jemand einen Ausweis prüft. Ein völlig anderes Programm, von irgendjemandem gebaut, kann genau denselben Namen sagen.
Das ist aus zwei praktischen Gründen wichtig: Wenn Sie entscheiden, ob Sie einen Crawler blockieren oder zulassen, wollen Sie wissen, dass Sie tatsächlich den echten kontrollieren, nicht eine Nachahmung. Und wenn Sie verstehen möchten, wie viel echten KI-Crawler-Traffic Sie erhalten, gibt Ihnen eine aufgeblähte oder gefälschte Zahl ein völlig falsches Bild.
Die echte Verifizierungsmethode: veröffentlichte IP-Listen
Jeder wichtige Betreiber löst das auf dieselbe Weise: Er veröffentlicht eine maschinenlesbare Datei mit den tatsächlichen IP-Adressbereichen, von denen aus seine Crawler Anfragen senden. Eine Anfrage ist nur dann wirklich der Crawler dieses Unternehmens, wenn sowohl der User-Agent-Name als auch die Quell-IP-Adresse mit dem übereinstimmen, was das Unternehmen selbst veröffentlicht.
OpenAI veröffentlicht separate Verifizierungsdateien für jeden seiner Bots — GPTBot, OAI-SearchBot, OAI-AdsBot und ChatGPT-User haben jeweils ihre eigene Liste. Anthropic veröffentlicht eine Liste, die seine Crawler unter claude.com/crawling/bots.json abdeckt. Perplexity veröffentlicht Dateien für beide seiner Bots — PerplexityBot und Perplexity-User — und die eigene Dokumentation empfiehlt, sowohl den User-Agent-Namen als auch die IP-Adresse gemeinsam zu prüfen, um ein zuverlässiges Ergebnis zu erhalten.
Veröffentlichte Verifizierungsdateien
Wo jedes Unternehmen seine echten IP-Bereiche veröffentlicht
OpenAI
Eine separate Datei für jeden Bot — GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User.
Anthropic
Eine veröffentlichte Liste unter claude.com/crawling/bots.json, die seine Crawler abdeckt.
Perplexity
Eine Datei für PerplexityBot und eine separate für Perplexity-User.
Die Vier-Schritte-Prüfung, einfach erklärt
Sie müssen kein Entwickler sein, um diese Prüfung durchzuführen, auch wenn Hilfe bei den technischen Schritten sie schneller macht.
- Finden Sie die behaupteten Besuche in Ihren Logs. Durchsuchen Sie die Zugriffsprotokolle Ihres Servers nach dem Bot-Namen, den Sie prüfen — „GPTBot“, „ClaudeBot“ oder „PerplexityBot“ — und notieren Sie die IP-Adresse jeder Anfrage.
- Öffnen Sie die veröffentlichte IP-Liste des Unternehmens. Jede ist eine kleine, einfache Textdatei unter den oben genannten Adressen, gedacht zum Lesen durch Software, aber genauso gut von einer Person lesbar.
- Vergleichen Sie die IP-Adresse, nicht nur den Namen. Erscheint die IP-Adresse aus Ihren Logs im veröffentlichten Bereich des Unternehmens, ist der Besuch echt. Wenn nicht, hat etwas einen Namen beansprucht, der ihm nicht gehört.
- Regelmäßig erneut prüfen. Unternehmen aktualisieren diese Bereiche, wenn sich ihre Infrastruktur ändert, sodass eine einmalige Prüfung veraltet. Die meisten Website-Betreiber müssen nur alle paar Monate erneut prüfen, oder wann immer an ihrem Crawler-Traffic etwas ungewöhnlich erscheint.
Die Prüfung
Einen behaupteten Crawler-Besuch verifizieren
1. Den Besuch in Ihren Logs finden
Notieren Sie den behaupteten Bot-Namen und die Quell-IP-Adresse.
2. Die veröffentlichte Liste des Betreibers öffnen
Eine kurze, einfache Textdatei, die das Unternehmen selbst pflegt.
3. Die IP abgleichen, nicht den Namen
Nur eine übereinstimmende IP-Adresse bestätigt den echten Crawler.
Wovor Sie das tatsächlich schützt
Hier geht es nicht um Paranoia — es geht darum, eine informierte Entscheidung statt einer angenommenen zu treffen. Ein Unternehmer, der sich entscheidet, GPTBot zuzulassen, weil er möchte, dass KI-Assistenten von seinen Produkten erfahren, sollte wissen, dass der Traffic, den er zulässt, tatsächlich GPTBot ist — kein unabhängiger Scraper, der einen vertrauenswürdigen Namen ausleiht, um eine einfache Blockade zu umgehen.
Dieselbe Prüfung zählt auch in die andere Richtung: Ein Unternehmen, das GPTBot in robots.txt blockiert, vertraut darauf, dass legitime, wohlerzogene Crawler diese Anweisung respektieren — was laut OpenAIs eigener Dokumentation für GPTBot zutrifft. Ein gefälschter Besuch mit dem Namen von GPTBot wäre an diese Ehrlichkeit nicht gebunden — ein weiterer Grund, warum die IP-Prüfung wichtig ist, falls Ihnen jemals Traffic auffällt, der seltsam wirkt. Sobald Sie bestätigt haben, wer Sie wirklich besucht, behandeln unser Leitfaden dazu, wie diese Crawler Ihre Website lesen und die Fakten dazu, ob das Blockieren Ihr Google-Ranking beeinflusst die nächsten Entscheidungen.
Sehen Sie, was die KI über Ihr Unternehmen sagt
Growli misst Ihren Anteil an KI-Antworten über ChatGPT, Gemini, Claude und Perplexity — und macht aus jeder Lücke priorisierte Maßnahmen.
Jetzt startenFAQ
Nein. Ein User-Agent-String ist selbst angegebener Text, der einer Anfrage beigefügt wird, und jedes Programm kann dort jeden beliebigen Namen eintragen. Eine echte Verifizierung erfordert den Abgleich der IP-Adresse der Anfrage mit der eigenen veröffentlichten Liste des Crawler-Betreibers.
OpenAI veröffentlicht eine pro Bot auf openai.com (siehe Entwicklerdokumentation), Anthropic veröffentlicht eine Liste unter claude.com/crawling/bots.json, und Perplexity veröffentlicht eine pro Bot in der eigenen Dokumentation. Jede ist eine kleine, einfache Datei.
Nein. Ihr Webserver protokolliert mit ziemlicher Sicherheit bereits die IP-Adresse und den User-Agent-String jedes Besuchers. Eine protokollierte IP-Adresse mit einer veröffentlichten Liste zu vergleichen, kann jeder tun, der eine kurze Textdatei lesen kann, oder ein Entwickler kann es automatisieren.
Die Unternehmen aktualisieren ihre Bereiche, wenn sich ihre Infrastruktur ändert, behandeln Sie eine Prüfung also als Momentaufnahme, nicht als dauerhafte Tatsache. Eine erneute Prüfung alle paar Monate, oder wann immer Ihr Crawler-Traffic ungewöhnlich wirkt, reicht für die meisten Unternehmen.
Ja — OpenAI, Anthropic und Perplexity veröffentlichen jeweils eine IP-Verifizierung sowohl für ihre nutzerausgelösten Bots als auch für ihre Crawling-Bots, sodass dieselbe Prüfung funktioniert, egal ob Sie einen breiten Crawl oder einen einzelnen Echtzeit-Abruf verifizieren.