Wie KI-Crawler Ihre Website wirklich lesen

Abrufen versus Rendern: der Unterschied, der entscheidet, was ein Crawler sieht

Jeder Websitebesuch beginnt gleich: Eine Anfrage geht an Ihren Server, und der Server sendet eine Antwort zurück. Diese Antwort ist HTML — das rohe Grundgerüst der Seite. Eine moderne Website liefert dieses Grundgerüst oft absichtlich fast leer aus und nutzt dann JavaScript — kleine Programme, die im Browser des Besuchers laufen —, um es anschließend mit den eigentlichen Texten, Preisen und Bildern zu füllen.

Der Browser eines menschlichen Besuchers führt dieses JavaScript automatisch aus, sodass er die Lücke nie bemerkt. „Rendern“ ist der Fachbegriff für diesen zusätzlichen Schritt: das JavaScript ausführen und die fertige Seite aufbauen. „Abrufen“ heißt einfach, das rohe HTML zu holen und dort aufzuhören. Die meisten KI-Crawler rufen ab. Sie rendern nicht.

Stellen Sie sich die Website eines Klempners vor, deren Startseite sofort mit Logo und Foto lädt, während die eigentliche Liste der Leistungen — Rohrreinigung, Warmwasserbereiter-Reparatur, Notdienst — erst eine Sekunde später erscheint, nachträglich per JavaScript gefüllt. Der Browser eines Besuchers erledigt dieses Nachfüllen so nahtlos, dass er nie bemerkt, dass es zwei Schritte waren. Ein KI-Crawler, der nur abruft, sieht die fast leere Hülle und hört dort auf. Die Leistungsliste existiert für diesen Crawler schlicht nicht.

Die Bots im Einzelnen — und wofür jeder wirklich da ist

„KI-Crawler“ ist nicht ein einzelner Bot — es sind eine Handvoll Unternehmen, von denen jedes mehrere Bots für unterschiedliche Aufgaben betreibt. Zu wissen, wer wer ist, ist wichtig, denn das Blockieren eines Bots blockiert nicht die anderen.

OpenAI dokumentiert vier separate Bots: GPTBot sammelt Inhalte, die zum Training seiner Modelle verwendet werden können. OAI-SearchBot crawlt, um zu entscheiden, was bei einer Suche innerhalb von ChatGPT angezeigt wird. OAI-AdsBot prüft die Sicherheit einer bestimmten Anzeigen-Zielseite. ChatGPT-User unterscheidet sich von den anderen dreien — er besucht eine Seite nur in Echtzeit, weil eine Person ChatGPT eine direkte Frage gestellt hat, und OpenAIs eigene Dokumentation weist darauf hin, dass „robots.txt-Regeln möglicherweise nicht gelten“, da eine Person diesen Abruf ausdrücklich angefordert hat.

Anthropic setzt eine ähnliche Aufteilung um: ClaudeBot sammelt Inhalte, „um den Nutzen und die Sicherheit unserer generativen KI-Modelle zu verbessern“, Claude-SearchBot crawlt, um suchähnliche Ergebnisse innerhalb von Claude zu verbessern, und Claude-User ruft eine Seite nur ab, wenn die Frage einer Person dorthin führt. Perplexity setzt dasselbe Muster um: PerplexityBot crawlt, um Websites anzuzeigen und zu verlinken, während Perplexity-User eine Seite nur als Antwort auf die Frage einer Person abruft.

Keiner dieser Bots rendert JavaScript. Alle, laut der oben zitierten Dokumentation dieser Unternehmen, sollen robots.txt respektieren — mit Ausnahme der nutzerausgelösten Bots, die genau deshalb existieren, weil eine echte Person auf der anderen Seite wartet.

Googlebot ist die Ausnahme — und es lohnt sich zu wissen, warum

Wenn KI-Crawler kein JavaScript rendern, warum fühlt sich das ungewohnt an? Weil Googlebot es tut. Google dokumentiert, dass Googlebot existiert, „um Informationen für den Aufbau der Google-Suchindizes zu finden“, und um das gut zu tun, hat Google über viele Jahre eine vollständige Rendering-Pipeline aufgebaut — im Grunde ein echter Browser, der in gewaltigem Maßstab für jede Seite läuft, die vollständig verstanden werden soll.

Das ist eine wirklich teure Infrastruktur, und derzeit haben die KI-Unternehmen für ihre Crawler noch keine eigene Version davon gebaut. Vercels eigene Analyse formuliert es unverblümt: „Keiner der wichtigsten KI-Crawler rendert derzeit JavaScript. Das schließt OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider) und Perplexity (PerplexityBot) ein.“ Dieselbe Analyse stellte fest, dass diese Crawler manchmal die JavaScript-Dateien einer Website abrufen — die Bots von ChatGPT taten dies bei etwa 11,5 % der Anfragen, die von Claude bei etwa 23,8 % —, aber das Abrufen der Datei ist nicht dasselbe wie ihre Ausführung. Ausgeführt wird sie weiterhin nicht. Im selben Zeitraum maß Vercel 4,5 Mrd. monatliche Googlebot-Anfragen gegenüber 569 Mio. von GPTBot und 370 Mio. von Claudes Crawlern — ein Bruchteil des Volumens.

Diese Lücke muss nicht ewig bestehen bleiben. Aber für einen Unternehmer, der heute entscheidet, was mit seiner Website geschehen soll, ist sie die aktuelle Realität, kein Naturgesetz — es lohnt sich, das gelegentlich neu zu prüfen, aber nicht, deswegen schlaflose Nächte zu haben.

Was das eine echte Website tatsächlich kostet

Zurück zur Website des Klempners. Wenn die Leistungsliste, die Karte der Einsatzgebiete und die Kundenbewertungen alle erst nach der ersten Seite per JavaScript nachgeladen werden, passiert Folgendes, wenn jemand einen KI-Assistenten fragt, „wer macht Not-Klempnerdienst in meiner Nähe“: Der Crawler des Assistenten hat diese Seite irgendwann abgerufen, eine fast leere Hülle gesehen und ist weitergezogen. Er hat nie erfahren, welche Leistungen dieser Klempner tatsächlich anbietet.

Das ist keine kleine technische Randnotiz — es ist, einfach gesagt, der Unterschied zwischen Existieren und Nicht-Existieren im Weltbild eines KI-Assistenten. Ein Konkurrent, dessen Website ihre Leistungen direkt in dieser ersten Serverantwort lädt, ist schlicht sichtbarer für eine Empfehlung, ohne dass sonst irgendetwas an seinem Geschäft besser wäre.

So prüfen Sie, was Ihre eigene Website einem Crawler tatsächlich zeigt

Sie müssen keine technischen Kenntnisse haben, um das selbst zu prüfen, und es dauert etwa zwei Minuten.

• Klicken Sie mit der rechten Maustaste auf Ihre Startseite und wählen Sie „Seitenquelltext anzeigen“ (oder drücken Sie Strg+U bzw. Cmd+Option+U). Was Sie sehen, kommt dem rohen HTML nahe, das ein Crawler abruft. Wenn Ihre Leistungen, Preise oder wichtigen Fakten in diesem Text fehlen, sind sie möglicherweise auch für einen KI-Crawler nicht lesbar.
• Deaktivieren Sie kurz JavaScript in Ihrem Browser (die meisten Browser bieten das in ihren Entwicklertools oder Einstellungen an) und laden Sie Ihre Startseite neu. Alles, was verschwindet, ist genau das, was ein nicht rendernder Crawler von vornherein nie sieht.
• Stellen Sie der Person, die Ihre Website erstellt hat oder pflegt, eine direkte Frage: „Wird unser Hauptinhalt — Leistungen, Preise, Standort, Öffnungszeiten — in der ersten Serverantwort gesendet oder erst nachträglich per JavaScript gefüllt?“ Lautet die ehrliche Antwort „nachträglich gefüllt“, ist das die vorrangig zu behebende Stelle.

Was als Nächstes zu tun ist

Nichts davon erfordert einen Neubau Ihrer Website. Es bedeutet sicherzustellen, dass die wichtigsten Worte — was Sie tun, wo Sie sind, was es kostet, warum man Sie wählen sollte — in genau dieser allerersten Antwort Ihres Servers ankommen, bevor überhaupt JavaScript ausgeführt wird. Strukturierte Daten und ein sauberer, crawler-freundlicher Seitenaufbau bauen genau auf dieser Grundlage auf, und Growli prüft, ob KI-Assistenten Ihr Unternehmen heute tatsächlich sehen und empfehlen können — nicht nur, ob Ihre Website in einem Browser gut aussieht.

FAQ