Come i crawler IA leggono davvero il tuo sito web

Scaricare contro renderizzare: la differenza che decide cosa vede un crawler

Ogni visita a un sito inizia allo stesso modo: una richiesta parte verso il tuo server, e il server restituisce una risposta. Quella risposta è HTML — lo scheletro grezzo della pagina. Un sito moderno spesso consegna quello scheletro quasi vuoto di proposito, poi usa JavaScript — piccoli programmi eseguiti nel browser del visitatore — per riempirlo in seguito con i veri testi, prezzi e immagini.

Il browser di un visitatore umano esegue quel JavaScript automaticamente, quindi non nota mai la differenza. Il "rendering" è il termine tecnico per quel passaggio in più: eseguire il JavaScript e costruire la pagina finita. "Scaricare" significa semplicemente prendere l'HTML grezzo e fermarsi lì. La maggior parte dei crawler IA scarica. Non esegue il rendering.

Immagina il sito di un idraulico la cui homepage si carica all'istante con logo e foto, ma il vero elenco dei servizi — sturatura scarichi, riparazione scaldabagni, interventi d'emergenza — appare solo un secondo dopo, riempito da JavaScript dopo il caricamento. Il browser di un visitatore fa quel riempimento in modo così fluido da non accorgersi mai dei due passaggi. Un crawler IA che si limita a scaricare vede il guscio quasi vuoto e si ferma lì. Per quel crawler, l'elenco dei servizi semplicemente non esiste.

I bot, uno per uno, e a cosa serve davvero ciascuno

"Crawler IA" non è un unico bot — sono una manciata di aziende, ognuna con diversi bot per compiti diversi. Sapere chi è chi conta, perché bloccarne uno non blocca gli altri.

OpenAI documenta quattro bot distinti: GPTBot raccoglie contenuti che potrebbero servire ad addestrare i suoi modelli. OAI-SearchBot esplora il web per decidere cosa mostrare quando qualcuno cerca dentro ChatGPT. OAI-AdsBot verifica la sicurezza di una specifica pagina di destinazione pubblicitaria. ChatGPT-User è diverso dagli altri tre — visita una pagina in tempo reale solo perché una persona ha fatto una domanda diretta a ChatGPT, e la documentazione di OpenAI stessa segnala che "le regole del robots.txt potrebbero non applicarsi" a questo bot, poiché è stata una persona a richiedere esplicitamente quel recupero.

Anthropic applica una suddivisione simile: ClaudeBot raccoglie contenuti "per migliorare l'utilità e la sicurezza dei nostri modelli di IA generativa", Claude-SearchBot esplora per migliorare risultati simili a una ricerca dentro Claude, e Claude-User recupera una pagina solo quando la domanda di una persona lo porta lì. Perplexity applica lo stesso schema: PerplexityBot esplora per mostrare e collegare siti web, mentre Perplexity-User recupera una pagina solo in risposta alla domanda di una persona.

Nessuno di questi bot esegue il rendering di JavaScript. Tutti, secondo la documentazione di queste aziende citata sopra, dovrebbero rispettare il robots.txt — tranne quelli attivati dall'utente, che esistono proprio perché una persona reale attende una risposta dall'altra parte.

Googlebot è l'eccezione, ed è utile sapere perché

Se i crawler IA non eseguono il rendering di JavaScript, perché sembra così insolito? Perché Googlebot sì. Google documenta che Googlebot esiste "per trovare informazioni utili a costruire gli indici di ricerca di Google" e, per farlo bene, Google ha costruito nel corso di molti anni una pipeline di rendering completa — praticamente un vero browser eseguito su scala enorme per ogni pagina che vuole comprendere a fondo.

Si tratta di un'infrastruttura davvero costosa, e al momento le aziende IA non hanno costruito una propria versione per i loro crawler. L'analisi di Vercel lo afferma chiaramente: "nessuno dei principali crawler IA esegue attualmente il rendering di JavaScript. Questo include OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot)". La stessa analisi ha rilevato che questi crawler a volte scaricano i file JavaScript di un sito — i bot di ChatGPT lo hanno fatto in circa l'11,5% delle richieste, quelli di Claude in circa il 23,8% — ma scaricare il file non equivale a eseguirlo. Continuano a non eseguirlo. Nello stesso periodo, Vercel ha misurato 4,5 mld di richieste mensili di Googlebot contro 569 mln di GPTBot e 370 mln dei crawler di Claude — una frazione del volume.

Questo divario non durerà necessariamente per sempre. Ma per un imprenditore che oggi decide cosa fare del proprio sito, è la realtà attuale, non una legge permanente — da rivedere ogni tanto, non da cui perdere il sonno.

Cosa costa davvero tutto questo a un sito reale

Torniamo al sito dell'idraulico. Se l'elenco dei servizi, la mappa delle zone coperte e le recensioni dei clienti si caricano tutti dopo la pagina iniziale tramite JavaScript, ecco cosa succede quando qualcuno chiede a un assistente IA "chi fa interventi idraulici d'emergenza vicino a me": il crawler dell'assistente ha scaricato quella pagina in un certo momento, ha visto un guscio quasi vuoto ed è andato oltre. Non ha mai scoperto quali servizi offre davvero questo idraulico.

Non è un dettaglio tecnico marginale — è, in parole semplici, la differenza tra esistere o meno nell'immagine del mondo che ha un assistente IA. Un idraulico concorrente il cui sito carica i servizi direttamente in quella prima risposta del server è semplicemente più visibile per essere raccomandato, senza che nient'altro nella sua attività sia migliore.

Come verificare cosa mostra davvero il tuo sito a un crawler

Non serve essere tecnici per verificarlo da soli, e ci vogliono circa due minuti.

• Fai clic destro sulla tua homepage e scegli "Visualizza sorgente pagina" (oppure premi Ctrl+U / Cmd+Option+U). Ciò che vedi è vicino all'HTML grezzo che un crawler scarica. Se i tuoi servizi, prezzi o dati chiave non sono in quel testo, potrebbero non essere leggibili nemmeno da un crawler IA.
• Disattiva JavaScript nel browser per un momento (la maggior parte dei browser lo offre negli strumenti per sviluppatori o nelle impostazioni) e ricarica la homepage. Tutto ciò che scompare è esattamente ciò che un crawler senza rendering non vede mai.
• Fai una domanda diretta a chi ha creato o gestisce il tuo sito: "Il nostro contenuto principale — servizi, prezzi, sede, orari — viene inviato nella prima risposta del server o riempito dopo da JavaScript?". Se la risposta onesta è "riempito dopo", è quella la priorità da correggere.

Cosa fare adesso

Niente di tutto questo richiede di ricostruire il tuo sito. Significa assicurarsi che le parole più importanti — cosa fai, dove sei, quanto costa, perché scegliere te — arrivino in quella primissima risposta del tuo server, prima ancora che venga eseguito qualsiasi JavaScript. I dati strutturati e una configurazione di pagina pulita e amica dei crawler si costruiscono esattamente su questa base, e Growli verifica se gli assistenti IA possono davvero vedere e raccomandare la tua attività oggi, non solo se il tuo sito appare bene in un browser.

FAQ