Il framework decisionale robots.txt per i crawler IA

robots.txt, in breve: uno standard reale, non un suggerimento

robots.txt è un file di testo semplice nella radice di un sito web che dice al software in visita quali parti del sito può e non può esplorare. Non è un'invenzione proprietaria di Google — è formalmente standardizzato come il Robots Exclusion Protocol, RFC 9309, pubblicato tramite l'Internet Engineering Task Force, l'organismo che standardizza il funzionamento dell'infrastruttura di base di internet.

Ogni grande operatore di crawler IA dichiara di rispettare questo file per i propri bot di scansione automatizzati — OpenAI per GPTBot e OAI-SearchBot, Anthropic per ClaudeBot e Claude-SearchBot, e Perplexity per PerplexityBot lo affermano tutti nella propria documentazione. I bot attivati dall'utente — ChatGPT-User, Claude-User, Perplexity-User — sono l'eccezione, poiché agiscono su richiesta diretta di una persona specifica.

Domanda uno: vuoi che gli assistenti IA ti raccomandino?

Sembra ovvio, ma vale la pena dirlo chiaramente perché la risposta onesta varia a seconda dell'attività. Un dentista, un idraulico, un ristorante locale — quasi chiunque i cui clienti chiedono ad amici, e sempre più ad assistenti IA, "chi dovrei contattare" — generalmente vuole che la risposta sia sì. Un'attività costruita sull'esclusività o su un processo di vendita strettamente controllato potrebbe avere ragioni reali per dire di no.

Se la risposta è sì, questo indica di consentire i crawler che alimentano le risposte di un assistente: i crawler di addestramento che insegnano a un modello la tua esistenza, e i crawler in stile ricerca che gli permettono di citarti direttamente.

Domanda due: questo contenuto ti fa guadagnare direttamente?

Alcuni contenuti esistono puramente per essere trovati e letti — una pagina di servizi, un post del blog, una FAQ. Altri contenuti sono il prodotto stesso: gli articoli riservati agli abbonati di un editore, la documentazione premium di un'azienda SaaS, gli annunci dettagliati di un marketplace. I contenuti della seconda categoria meritano una risposta più attenta, perché lasciare che addestrino il modello di qualcun altro equivale a regalare ciò che stai cercando di vendere, invece di pubblicizzarlo.

Questa domanda spesso divide uno stesso sito web in due risposte diverse: le pagine di marketing dicono sì alla scansione, e il contenuto a pagamento o proprietario dice no — il che è del tutto legittimo, poiché le regole robots.txt possono essere scritte per percorsi specifici, non solo per l'intero sito.

Domanda tre: riesci davvero a mantenerlo?

Un file robots.txt che nomina dieci bot specifici oggi sarà obsoleto il giorno in cui ne verrà lanciato un undicesimo. Se nessuno nel tuo team rivedrà questo file ogni pochi mesi, una politica più semplice e duratura — consentire i grandi crawler ben documentati come categoria, rivedere due volte l'anno — batte un insieme elaborato di regole che nessuno mantiene.

Essere realistici sulla propria capacità di manutenzione non è un compromesso al ribasso; una politica che riesci davvero a tenere aggiornata ti protegge meglio di una ambiziosa che diventa obsoleta entro un anno.

Applicare il framework a tre attività reali

Un idraulico locale risponde sì alla domanda uno (vuole raccomandazioni IA), la domanda due si applica a malapena (una pagina di servizi non guadagna nulla restando segreta), e la domanda tre è facile (c'è poco da mantenere). Il framework approda chiaramente su: consentire ampiamente i grandi crawler.

Un'azienda SaaS risponde sì alla domanda uno per il proprio sito marketing e il blog pubblico, ma un no attento alla domanda due per la propria documentazione premium e i contenuti di assistenza integrati nel prodotto, il cui accesso vende. Il suo robots.txt finisce con due regole diverse per due parti diverse dello stesso dominio — pagine di marketing aperte, documentazione a pagamento chiusa.

Un editore giornalistico dà spesso la risposta più articolata: sì alla domanda uno per i suoi articoli gratuiti, poiché le citazioni generano una reale consapevolezza tra i lettori, ma un no deciso alla domanda due per il lavoro d'inchiesta a pagamento da cui dipende la sua attività. Poiché Google-Extended e i suoi equivalenti presso altre aziende separano l'addestramento dalla visibilità nella ricerca, un editore può plausibilmente consentire la scansione in stile ricerca dei contenuti gratuiti pur rifiutando che quello stesso contenuto venga usato per addestrare modelli.

FAQ