KI-Crawler-Traffic vs. Googlebot: Wie die Zahlen wirklich aussehen

Wie oft KI-Crawler tatsächlich besuchen, verglichen mit Googlebot

Vercel, dessen Server einen großen Teil des modernen Webs hosten, veröffentlichte eine eigene Traffic-Analyse über einen vollen Monat im eigenen Netzwerk. Googlebot erzeugte in diesem Zeitraum 4,5 Milliarden Anfragen. GPTBot erzeugte 569 Millionen — etwa ein Achtel des Volumens. Claudes Crawler erzeugten 370 Millionen, noch weniger.

Einfach gesagt: Für jeden Besuch, den Googlebot auf dem von Vercel gehosteten Web macht, macht GPTBot etwa ein Achtel eines Besuchs, und Claudes Crawler machen noch weniger. Das ist kein Rundungsfehler — es spiegelt wider, wie viel länger Google bereits Such-Infrastruktur in großem Maßstab aufbaut und betreibt.

Crawlen und Besucher zurücksenden sind zwei sehr unterschiedliche Dinge

Das rohe Crawl-Volumen beantwortet „wie oft besucht dieser Bot“, aber einen Unternehmer interessiert meist eine andere Frage: „Bringt mir das Kunden?“ Cloudflare, das nach eigenen Angaben vor etwa einem Fünftel des gesamten Web-Traffics steht, maß beide Seiten dieser Frage über eine Woche und veröffentlichte, was es das Crawl-zu-Referral-Verhältnis nennt — wie oft die Bots eines Unternehmens eine Seite gecrawlt haben, für jedes Mal, das sie einen echten Besucher per Link dorthin geschickt haben.

Die Zahlen sind drastisch. Cloudflare stellte fest, dass OpenAIs Gesamtverhältnis bei nahe 887 Crawls pro 1 verwiesenem Besucher lag. Anthropics war noch deutlich höher — „fast 50.000:1“ in Cloudflares Messung. Perplexity, dessen Produkt darauf aufbaut, mit Links zu antworten, hatte ein viel engeres Verhältnis von etwa 118 zu 1 — immer noch unausgewogen, aber von den dreien am nächsten daran, Besucher für das Gecrawlte zurückzusenden.

Warum das Verhältnis so unausgewogen ist: Das meiste Crawling dient dem Training, nicht Antworten

Der Grund, warum die Crawl-zu-Referral-Lücke so groß ist, liegt daran, wofür das meiste dieses Crawlings tatsächlich dient. Dieselbe Untersuchung von Cloudflare ergab, dass „Trainings-Traffic, verantwortlich für fast 80 % des Crawlings durch KI-Bots“, den Traffic, der genutzt wird, um eine bestimmte Frage in Echtzeit zu beantworten — die Art von Traffic, die am ehesten einen Link zurück zu Ihrer Seite enthält —, bei Weitem übertrifft.

Trainings-Crawls sammeln Inhalte, um ein Modell allgemein aufzubauen oder zu verbessern — sie haben keinen direkten Grund, irgendwohin einen Besucher zu schicken, weil keine bestimmte Person eine bestimmte Frage gestellt hat. Ein nutzerausgelöster Abruf, wie ChatGPT-User oder Perplexity-User, der eine Seite besucht, weil jemand eine echte Frage gestellt hat, ist der Traffic, der sich am ehesten in einen tatsächlichen Besucher übersetzt, und er macht nur einen kleinen Anteil des gesamten stattfindenden Crawlings aus.

Was das für ein reales Unternehmen bedeutet

Stellen Sie sich eine lokale Buchhalterin während der Steuersaison vor. Ihre Website könnte im Vergleich Tausende Googlebot-Besuche pro Monat sehen und nur eine Handvoll KI-Crawler-Besuche — und das ist erwartbar, kein Zeichen dafür, dass ihre Seite bei KI-Assistenten versagt. Was für sie tatsächlich zählt, dreht sich weniger um Volumen und mehr um zwei engere Fragen: Wird sie überhaupt von den Assistenten gecrawlt, die ihre potenziellen Kunden nutzen, und wenn jemand einem dieser Assistenten eine direkte Frage stellt, weiß er genug über sie, um mit ihrem Namen zu antworten?

KI-Crawler-Besuchszahlen so zu jagen, wie Unternehmen jahrzehntelang Googlebot-Aktivität gejagt haben, ist hier nicht der richtige Instinkt — das Volumen ist einfach noch nicht auf dieselbe Weise aufgebaut. Unser Leitfaden zur Diagnose, ob Sie gecrawlt, aber nicht zitiert werden, geht darauf ein, was tatsächlich eine Erwähnung vorhersagt — was mehr zählt als rohe Besuchszahlen.

FAQ