I crawler dell'IA spiegati: GPTBot, ClaudeBot, PerplexityBot e gli altri

I bot, azienda per azienda

Pensate a robots.txt come a un cartello sulla porta di un negozio: "consegne sul retro, clienti benvenuti dall'ingresso". Funziona solo se ogni visitatore legge i cartelli — e smista i visitatori in gruppi solo se sapete quale cartello si applica a chi. Ecco chi sta realmente bussando.

OpenAI documenta quattro bot distinti. GPTBot raccoglie testo per aiutare ad addestrare e migliorare i suoi modelli — l'equivalente di un ricercatore che legge libri in biblioteca per istruirsi, non per rispondere a una domanda specifica. OAI-SearchBot è diverso: esplora le pagine affinché la funzione di ricerca di ChatGPT possa trovarle e citarle quando un utente chiede qualcosa, un ruolo più vicino a quello di un motore di ricerca che indicizza il web. ChatGPT-User visita una pagina nell'istante esatto in cui una persona sta chattando con ChatGPT e l'assistente deve verificare qualcosa in tempo reale — immaginate un commesso che va sul retro a controllare se un articolo è disponibile, davanti agli occhi del cliente. OAI-AdsBot verifica che le pagine inviate come annunci ChatGPT siano sicure da consigliare. OpenAI documenta tutti e quattro i bot, e il loro comportamento rispetto a robots.txt, sul proprio sito per sviluppatori.

Anthropic (l'azienda dietro Claude) ne gestisce tre. ClaudeBot raccoglie pagine per l'addestramento del modello, lo stesso ruolo da biblioteca di GPTBot. Claude-SearchBot esplora le pagine per migliorare ciò che Claude può trovare e citare nei suoi risultati di ricerca. Claude-User recupera una pagina specifica nel momento in cui un utente di Claude la richiede — lo stesso comportamento "verifica davanti al cliente" di ChatGPT-User. Anthropic spiega tutti e tre i bot, e come controllare ciascuno, nel proprio centro assistenza.

Perplexity si ferma a due. PerplexityBot esplora e indicizza le pagine affinché le risposte di Perplexity possano rimandarvi — di nuovo, il ruolo di indicizzazione. Perplexity-User recupera una pagina in tempo reale, per conto di un utente, nel momento in cui una domanda ne ha bisogno. La documentazione di Perplexity nomina entrambi e ne spiega la differenza.

Due mestieri, non uno: addestramento contro "adesso"

Una volta individuato questo schema, l'intero bestiario si riduce a due categorie semplici — ed è questa distinzione a cambiare davvero cosa dovreste fare.

I bot di addestramento e indicizzazione — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — visitano secondo il proprio calendario, indipendentemente da un singolo cliente. È così che queste aziende costruiscono nel tempo una conoscenza generale e un indice consultabile del web. Bloccarne uno equivale a dire a quell'azienda "non usate le mie pagine future per questo" — una scelta reale e significativa, ma che agisce lentamente e non tocca nulla di ciò che è già stato appreso prima del blocco.

I bot attivati dall'utente — ChatGPT-User, Claude-User, Perplexity-User — visitano perché una persona reale, in piena conversazione, ha chiesto all'assistente di guardare la vostra pagina proprio adesso: per verificare un prezzo attuale, leggere il menu del giorno o confermare i vostri orari. Sia OpenAI sia Perplexity dichiarano chiaramente che, essendo la richiesta partita da una persona, questo tipo di visita potrebbe non rispettare robots.txt allo stesso modo di una scansione automatica — la logica è che chi pone una domanda diretta merita lo stesso accesso che avrebbe cliccando lei stessa sul link.

Ecco perché bloccare "il bot IA" come un tutto indifferenziato si ritorce così spesso contro chi lo fa: potete disattivare il crawler che avrebbe reso la vostra azienda più individuabile il mese prossimo, senza fare nulla per impedire che una pagina venga recuperata in tempo reale già domani — perché quel recupero non era comunque vostro da bloccare.

Leggere i propri log del server per vedere chi è davvero passato

Non serve un software speciale per verificare se qualcosa di tutto questo accade sul vostro sito. Ogni server web conserva un log di accesso — un elenco continuo di ogni visitatore e di ciò che ha consultato — e ogni crawler si identifica in una riga chiamata user-agent, un po' come un corriere potrebbe mostrare un tesserino.

Se il vostro sito è ospitato con accesso a riga di comando, potete cercare voi stessi in quel log. Un comando semplice come cercare il testo "GPTBot", "ClaudeBot" o "PerplexityBot" nel log di accesso mostrerà ogni visita, con la data, la pagina esatta richiesta, e se il server ha lasciato passare la visita o l'ha bloccata. La maggior parte dei pannelli di controllo hosting (cPanel, Plesk e simili) offre lo stesso log tramite una schermata "log grezzo" o "log visitatori" accessibile con un paio di clic, se preferite evitare la riga di comando.

Due cose vale la pena controllare una volta trovate: quando un certo bot è passato l'ultima volta (un bot di addestramento che non ha mai visitato significa che le vostre pagine non fanno ancora parte dei dati di addestramento di quell'azienda), e se le richieste sono andate a buon fine o sono state bloccate — una pagina che restituisce un errore a GPTBot potrebbe restituire lo stesso errore anche al browser di un cliente reale, ed è bene saperlo in ogni caso.

Scrivere un robots.txt che aiuti invece di nascondere

robots.txt è un semplice file di testo che collocate alla radice del vostro sito (ilvostrosito.it/robots.txt) e che elenca le regole su quali visitatori automatici possono leggere quali parti del sito. La documentazione di Google sulla scansione — scritta per il proprio crawler di ricerca, ma il formato del file è condiviso da tutti gli operatori di bot — resta la spiegazione più chiara della sintassi se non ne avete mai aperto uno.

Per quasi ogni piccola azienda locale, la posizione di partenza più sicura è la più semplice: consentire a ogni crawler di leggere ogni pagina pubblica, senza scrivere regole Disallow specifiche per i bot IA. Il vantaggio di essere scansionati è la possibilità di essere menzionati, confrontati e raccomandati; lo svantaggio del blocco è restare completamente fuori da una risposta, senza alcun modo di saperlo. Non esiste una versione di "bloccato parzialmente" che renda un assistente più favorevole nei vostri confronti — può solo rendervi invisibili a quel singolo bot.

Le due vere eccezioni sono le pagine che non vorreste mostrare nemmeno a un motore di ricerca — un'area clienti privata, una pagina di amministrazione interna, una bozza non pubblicata — che dovrebbero già avere una regola Disallow per qualsiasi crawler, IA o no. E una pagina realmente fuorviante se letta fuori contesto, senza il layout e le avvertenze che la circondano sul vostro sito, cosa rara ma che merita un secondo sguardo se vi riguarda.

Se decidete comunque di bloccare un bot specifico, usate il suo nome esatto — "GPTBot", non "OpenAI", non "bot IA" — perché ogni bot obbedisce solo alle regole scritte per il proprio nome. Una regola che blocca GPTBot non ha alcun effetto su OAI-SearchBot, e viceversa; questa separazione è proprio la ragione per cui queste aziende hanno diviso i bot fin dall'inizio.

• Elencate ogni bot che volete gestire con il suo nome esatto, una riga User-agent per bot.
• Non lasciate regole Disallow specifiche per i bot IA a meno che una pagina non sia realmente privata.
• Ricontrollate il file dopo ogni migrazione del sito — un nuovo hosting a volte fornisce un robots.txt predefinito che blocca tutto.
• Testate il file pubblicato su ilvostrosito.it/robots.txt in un browser dopo la pubblicazione; un errore di battitura qui è silenzioso e facile da non notare.

FAQ