Schadet das Blockieren von KI-Crawlern Ihrem Google-Ranking?
Von Zakaria Reziki
CEO — Growli · 30. September 2026 · 5 Min. Lesezeit
Mit KI-Unterstützung nach den redaktionellen Standards von Zakaria Reziki verfasst und nach automatisierten Quellen- und Qualitätsprüfungen veröffentlicht.
Nein, das Blockieren von Googles KI-Crawler schadet Ihrem Google-Suchranking nicht — Googles eigene Dokumentation besagt unmissverständlich, dass das Token, das das KI-Training steuert, Google-Extended, „keinen Einfluss auf die Aufnahme einer Website in die Google-Suche hat und nicht als Rankingfaktor verwendet wird“. Das ist eine der häufigsten Sorgen von Unternehmern, sobald sie zum ersten Mal von KI-Crawlern hören, und sie ist absolut nachvollziehbar, denn fünfundzwanzig Jahre lang bedeutete „irgendetwas mit Google und robots.txt“ genau eines: Ihr Ranking.
Das stimmt heute nicht mehr, und Google hat das ausdrücklich klargestellt. Dieser Artikel geht genau durch, was Google in eigenen Worten über den Unterschied zwischen dem Crawler, der die Suche aufbaut, und der Einstellung, die das KI-Training steuert, sagt — damit Sie diese Entscheidung anhand echter Fakten treffen können, nicht eines alten Reflexes.
Kurz gesagt, in Googles eigenen Worten
Google veröffentlicht eine Seite, die speziell seine Crawler und Abrufprogramme beschreibt, und zieht die Grenze so klar, wie es ein solches Dokument nur kann. Zu Google-Extended heißt es auf der Seite: „Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche und wird nicht als Rankingfaktor in der Google-Suche verwendet.“
Zu Googlebot beschreibt dieselbe Seite dessen Zweck als Crawling, „um Informationen für den Aufbau der Google-Suchindizes zu finden, andere produktspezifische Crawls durchzuführen und für Analysezwecke.“ Zwei verschiedene Aufgaben, klar benannt, von demselben Unternehmen, das beide betreibt.
Googles eigene Dokumentation
Zwei Aufgaben, zwei Regeln
Baut Googles Suchindex auf
Aufgabe von Googlebot
Steuert die Nutzung für das Gemini-Training
Aufgabe von Google-Extended
Quelle: Google
Was Google-Extended eigentlich ist
Hier kommt der Teil, der die meisten überrascht: Google-Extended ist kein eigenständiger Bot, der mit eigenem Namensschild auf Ihrer Website auftaucht. Googles Dokumentation ist hier sehr konkret — „Google-Extended nutzt keinen separaten HTTP-User-Agent-String. Stattdessen erfolgt das Crawling mit bestehenden Google-User-Agent-Strings; das robots.txt-User-Agent-Token wird zu Steuerungszwecken verwendet.“
Einfach gesagt: Derselbe Crawl, den Googlebot ohnehin schon durchführt, kann zwei Zwecken dienen. Google-Extended ist die Anweisung, die Sie in Ihrer robots.txt-Datei geben, ob dieser bereits gecrawlte Inhalt auch zum Training zukünftiger Gemini-Modelle und zur Untermauerung von Gemini-Antworten verwendet werden darf. Es ist eine Berechtigungseinstellung, die auf einem bereits stattfindenden Besuch aufsetzt, kein zweiter Besucher.
Wie Sie beide unabhängig voneinander festlegen, einfach erklärt
Da Googlebot und Google-Extended von getrennten robots.txt-Regeln gesteuert werden, können Sie beide unabhängig voneinander wählen. Ein Unternehmen, das in den Google-Suchergebnissen weiterhin vollständig sichtbar bleiben möchte, aber nicht will, dass seine Inhalte das Training von Gemini oder dessen Antworten speisen, kann genau das tun: den Googlebot-User-Agent wie gewohnt erlauben und eine separate Disallow-Regel für den Google-Extended-User-Agent hinzufügen.
Das Umgekehrte gilt ebenso — theoretisch könnten Sie Googlebot blockieren (und vollständig aus der Google-Suche verschwinden, was fast kein Unternehmen möchte), während Sie Google-Extended erlauben, auch wenn in der Praxis kaum jemand dafür einen Grund hat. Der Punkt ist einfach: Das sind zwei getrennte Hebel, nicht einer, und das Betätigen des einen bewegt den anderen nicht.
In der Praxis
Beide unabhängig voneinander festlegen
1. Über die Suche entscheiden
Fast jedes Unternehmen möchte Googlebot erlauben, um in der Suche sichtbar zu bleiben.
2. Getrennt über das Gemini-Training entscheiden
Erlauben oder verbieten Sie Google-Extended je nach Ihrem eigenen Wohlbefinden mit KI-Training — nicht aus Angst vor Rankingverlust.
3. Beide Regeln ausdrücklich formulieren
Zwei getrennte Zeilen in robots.txt, jede mit ihrem eigenen benannten User-Agent, damit nichts einer nicht selbst gewählten Standardeinstellung überlassen bleibt.
Ein konkretes Beispiel: eine familiengeführte Bäckerei
Stellen Sie sich eine Bäckereibesitzerin vor, die online gelesen hat, „das Blockieren von KI-Bots schadet Ihrem SEO“, und aus Angst alles weit offen gelassen hat, statt ihr Google-Ranking zu riskieren — einschließlich Crawlern, die sie lieber ferngehalten hätte.
Mit den obigen Fakten hat sie eine klarere Wahl: Ihre robots.txt-Datei kann Googlebot ausdrücklich erlauben (wodurch ihre Bäckerei bei Google weiterhin vollständig auffindbar bleibt, genau wie zuvor) und gleichzeitig Google-Extended ausdrücklich verbieten (wodurch ihre Menübeschreibungen und Fotos vom Training zukünftiger Gemini-Modelle ausgeschlossen werden) — ohne dass ihre Sichtbarkeit in der Suche überhaupt berührt wird. Die Entscheidung über das Gemini-Training wird zu einer bewussten, separaten Wahl statt zu einem Nebeneffekt, den sie nur vermutet hat.
Warum diese Verwechslung so häufig vorkommt — und wie Sie sie künftig vermeiden
Die Verwechslung ist nachvollziehbar: robots.txt war historisch fast ausschließlich ein Werkzeug für das Suchranking, sodass sich jede neue hinzugefügte Zeile ebenfalls danach anfühlt, mit Ranking zu tun zu haben. Google-Extended durchbricht dieses alte Muster — es ist das erste weitverbreitete robots.txt-Token, das laut Googles eigener Aussage ausdrücklich nichts mit dem Ranking zu tun hat.
Die sicherste Gewohnheit für die Zukunft ist einfach: Raten Sie nicht. Wenn ein neuer Crawler oder ein neues Token auftaucht, prüfen Sie die eigene Dokumentation dieses Unternehmens, um zu erfahren, was es tatsächlich steuert, bevor Sie etwas ändern — dieselbe Disziplin, auf der dieser Artikel aufbaut.
Sehen Sie, was die KI über Ihr Unternehmen sagt
Growli misst Ihren Anteil an KI-Antworten über ChatGPT, Gemini, Claude und Perplexity — und macht aus jeder Lücke priorisierte Maßnahmen.
Jetzt startenFAQ
Nein. Googles eigene Dokumentation besagt, dass Google-Extended „keinen Einfluss auf die Aufnahme einer Website in die Google-Suche hat und nicht als Rankingfaktor in der Google-Suche verwendet wird.“ Es ist ein separates Steuerelement, getrennt von Googlebot.
Nein. Google gibt an, dass Google-Extended „keinen separaten HTTP-User-Agent-String“ nutzt — das Crawling erfolgt unter Googles bestehenden User-Agents, und Google-Extended ist lediglich die robots.txt-Berechtigung, die steuert, wofür dieser gecrawlte Inhalt verwendet werden darf.
Es teilt Google mit, dass von Ihrer Website gecrawlte Inhalte nicht zum Training zukünftiger Gemini-Modelle oder zur Untermauerung von Antworten in Gemini-Apps und den generativen Funktionen von Vertex AI verwendet werden sollen. Es hat keinen Einfluss auf die Suchindexierung oder das Ranking.
Ja, mit eigenen Bot-Namen statt einem gemeinsamen Token. [OpenAI dokumentiert](https://developers.openai.com/api/docs/bots) GPTBot für Training, getrennt von OAI-SearchBot für seine ChatGPT-Suchfunktion, und [Anthropic dokumentiert](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) dieselbe Trennung zwischen ClaudeBot und Claude-SearchBot. Details finden Sie in unserem [vollständigen Leitfaden zu diesen Bots](https://growli.xyz/blog/how-ai-crawlers-read-your-website).
Das hängt von Ihrem eigenen Wohlbefinden mit KI-Training an Ihren Inhalten ab, nicht von SEO-Angst — da das Ranking in keinem der beiden Fälle wirklich betroffen ist. Es lohnt sich, das für sich zu bewerten; siehe unsere [ehrliche Aufschlüsselung der Abwägungen](https://growli.xyz/blog/blocking-ai-crawlers-tradeoffs).