Traffico dei crawler IA contro Googlebot: come sono davvero i numeri

Con quale frequenza visitano davvero i crawler IA, rispetto a Googlebot

Vercel, i cui server ospitano una grande parte del web moderno, ha pubblicato una propria analisi del traffico che copre un mese intero sulla propria rete. Googlebot ha generato 4,5 miliardi di richieste in quel periodo. GPTBot ne ha generate 569 milioni — circa un ottavo del volume. I crawler di Claude ne hanno generate 370 milioni, ancora meno.

In termini semplici: per ogni visita che Googlebot fa al web ospitato da Vercel, GPTBot ne fa circa un ottavo, e i crawler di Claude ne fanno ancora meno. Non è un errore di arrotondamento — riflette da quanto più tempo Google costruisce e gestisce infrastrutture di Ricerca su larga scala.

Scansionare e rimandare visitatori sono due cose molto diverse

Il volume grezzo di scansione risponde a "quanto spesso visita questo bot", ma a un imprenditore interessa di solito una domanda diversa: "questo mi porta clienti?" Cloudflare, che secondo i propri dati si trova davanti a circa un quinto di tutto il traffico web, ha misurato entrambi gli aspetti di questa domanda per una settimana e ha pubblicato quello che chiama il rapporto scansione-rimando — quante volte i bot di un'azienda hanno scansionato una pagina per ogni volta che vi hanno inviato un vero visitatore tramite un link.

I numeri sono netti. Cloudflare ha scoperto che il rapporto complessivo di OpenAI era vicino a 887 scansioni per 1 visitatore indirizzato. Quello di Anthropic era ancora molto più alto — "quasi 50.000:1" nella misurazione di Cloudflare. Perplexity, il cui prodotto è costruito attorno a risposte con link, aveva un rapporto molto più stretto, circa 118 a 1 — ancora sbilanciato, ma il più vicino dei tre a rimandare visitatori per ciò che scansiona.

Perché il rapporto è così sbilanciato: la maggior parte della scansione serve all'addestramento, non alle risposte

Il motivo per cui il divario scansione-rimando è così ampio risale a ciò a cui serve davvero la maggior parte di questa scansione. La stessa ricerca di Cloudflare ha scoperto che "il traffico di addestramento, responsabile di quasi l'80% della scansione da parte dei bot IA", supera di gran lunga il traffico usato per rispondere a una domanda specifica in tempo reale — il tipo di traffico più probabile a includere un link verso il tuo sito.

Le scansioni di addestramento raccolgono contenuti per costruire o migliorare un modello in generale — non hanno un motivo diretto per inviare un visitatore da nessuna parte, perché nessuna persona specifica ha fatto una domanda specifica. Un recupero attivato dall'utente, come ChatGPT-User o Perplexity-User che visita una pagina perché qualcuno ha fatto una domanda reale, è il traffico più probabile a tradursi in un visitatore effettivo, ed è una piccola quota della scansione totale che avviene.

Cosa significa questo per un'attività reale

Immagina una commercialista locale durante la stagione fiscale. Il suo sito potrebbe vedere migliaia di visite di Googlebot al mese e, al confronto, solo una manciata di visite di crawler IA — ed è normale, non un segno che il suo sito stia fallendo con gli assistenti IA. Ciò che conta davvero per lei riguarda meno il volume e più due domande più circoscritte: viene scansionata affatto dagli assistenti che i suoi potenziali clienti usano, e quando qualcuno fa a uno di quegli assistenti una domanda diretta, ne sa abbastanza su di lei da rispondere citando il suo nome?

Inseguire il numero di visite dei crawler IA come le attività hanno inseguito l'attività di Googlebot per decenni non è l'istinto giusto qui — il volume semplicemente non è ancora costruito allo stesso modo. La nostra guida per diagnosticare se sei scansionato ma non citato approfondisce cosa predice davvero una menzione, che conta più del numero grezzo di visite.

FAQ