Bloccare i crawler IA danneggia il tuo posizionamento su Google?

La versione breve, con le parole di Google

Google pubblica una pagina che descrive specificamente i suoi crawler e strumenti di recupero, e traccia la linea con la chiarezza massima che un documento del genere può offrire. Su Google-Extended, la pagina afferma: "Google-Extended non incide sull'inclusione di un sito nella Ricerca Google né viene usato come segnale di posizionamento nella Ricerca Google".

Su Googlebot, la stessa pagina descrive il suo scopo come scansionare "per trovare informazioni utili a costruire gli indici di ricerca di Google, eseguire altre scansioni specifiche di prodotto e per finalità di analisi". Due compiti diversi, dichiarati con chiarezza, dalla stessa azienda che gestisce entrambi.

Cos'è davvero Google-Extended

Ecco la parte che sorprende la maggior parte delle persone: Google-Extended non è un bot separato che compare sul tuo sito con un proprio nome. La documentazione di Google è specifica al riguardo — "Google-Extended non opera tramite una stringa user-agent HTTP separata. La scansione avviene invece con le stringhe user-agent Google già esistenti; il token user-agent del robots.txt viene usato a scopo di controllo".

In termini semplici: la stessa scansione che Googlebot già effettua può servire a due scopi. Google-Extended è l'istruzione che dai nel tuo file robots.txt su se quel contenuto già scansionato possa essere usato anche per addestrare i futuri modelli di Gemini e per fondarne le risposte. È un'impostazione di permesso sovrapposta a una visita già esistente, non un secondo visitatore.

Come configurarli in modo indipendente, in termini semplici

Poiché Googlebot e Google-Extended sono regolati da regole robots.txt separate, puoi scegliere ciascuno per conto proprio. Un'attività che vuole restare pienamente visibile nei risultati della Ricerca Google, ma non vuole che i suoi contenuti alimentino l'addestramento o le risposte di Gemini, può fare esattamente questo: consentire normalmente lo user-agent Googlebot e aggiungere una regola Disallow separata per lo user-agent Google-Extended.

Vale anche il contrario — in teoria potresti bloccare Googlebot (sparendo completamente dalla Ricerca Google, cosa che quasi nessuna attività desidera) consentendo però Google-Extended, anche se in pratica quasi nessuno ha motivo di farlo. Il punto è semplicemente che si tratta di due leve distinte, e azionarne una non sposta l'altra.

Un esempio concreto: una panetteria a conduzione familiare

Immagina una panettiera che ha letto online che "bloccare i bot IA danneggia il tuo SEO" e, per paura, ha lasciato tutto completamente aperto piuttosto che rischiare il suo posizionamento su Google — inclusi crawler che avrebbe preferito tenere fuori.

Con i fatti sopra esposti, ha una scelta più chiara: il suo file robots.txt può consentire esplicitamente Googlebot (mantenendo la sua panetteria pienamente ricercabile su Google, esattamente come prima) e al tempo stesso vietare esplicitamente Google-Extended (escludendo le descrizioni del menu e le foto dall'addestramento dei futuri modelli Gemini) — senza toccare in alcun modo la sua visibilità nella Ricerca. La decisione sull'addestramento di Gemini diventa una scelta deliberata e separata, invece di un effetto collaterale che stava solo ipotizzando.

Perché questa confusione è così comune, e come evitarla d'ora in poi

La confusione è comprensibile: storicamente robots.txt è stato quasi esclusivamente uno strumento di posizionamento nella ricerca, quindi ogni nuova riga aggiunta sembra dover riguardare anch'essa il posizionamento. Google-Extended rompe questo vecchio schema — è il primo token robots.txt di uso diffuso che, per dichiarazione di Google stessa, è esplicitamente estraneo al posizionamento.

L'abitudine più sicura d'ora in poi è semplice: non tirare a indovinare. Quando compare un nuovo crawler o token, controlla la documentazione ufficiale di quell'azienda per capire cosa controlla realmente prima di cambiare qualsiasi cosa — la stessa disciplina su cui si basa questo articolo.

FAQ