Come verificare le vere visite dei crawler IA nei log del tuo server

Perché il nome nei tuoi log non basta da solo

Immagina il sito di uno studio dentistico i cui log mostrano cinquanta visite il mese scorso da qualcosa che si autodefinisce "GPTBot". Sembra una prova che OpenAI stia leggendo il sito. Ma una stringa user-agent è interamente autodichiarata — come un visitatore alla reception che dice semplicemente il proprio nome ad alta voce, senza che nessuno controlli un documento. Un programma completamente diverso, costruito da chiunque, può dire esattamente lo stesso nome.

Questo conta per due ragioni pratiche: se stai decidendo se bloccare o consentire un crawler, vuoi sapere di controllare davvero quello vero, non un'imitazione. E se stai cercando di capire quanto traffico reale di crawler IA ricevi, un conteggio gonfiato o falso ti dà un'immagine completamente sbagliata.

Il vero metodo di verifica: elenchi IP pubblicati

Ogni grande operatore risolve il problema allo stesso modo: pubblica un file leggibile da macchina che elenca gli intervalli IP reali da cui i suoi crawler inviano richieste. Una richiesta è genuinamente il crawler di quell'azienda solo se sia il nome dello user-agent sia l'indirizzo IP di origine corrispondono a ciò che l'azienda stessa pubblica.

OpenAI pubblica file di verifica separati per ciascuno dei suoi bot — GPTBot, OAI-SearchBot, OAI-AdsBot e ChatGPT-User hanno ciascuno il proprio elenco. Anthropic pubblica un unico elenco che copre i suoi crawler su claude.com/crawling/bots.json. Perplexity pubblica file per entrambi i suoi bot — PerplexityBot e Perplexity-User — e la sua stessa documentazione raccomanda di controllare insieme sia il nome user-agent sia l'indirizzo IP per un risultato affidabile.

Il controllo in quattro passaggi, in termini semplici

Non devi essere uno sviluppatore per eseguire questo controllo, anche se avere il supporto di uno per i passaggi tecnici lo rende più veloce.

• Trova le visite dichiarate nei tuoi log. Cerca nei log di accesso del tuo server il nome del bot che stai verificando — "GPTBot", "ClaudeBot" o "PerplexityBot" — e annota l'indirizzo IP di ogni richiesta.
• Apri l'elenco IP pubblicato dall'azienda. Ciascuno è un piccolo file di testo semplice agli indirizzi sopra indicati, pensato per essere letto da software ma perfettamente leggibile anche da una persona.
• Confronta l'indirizzo IP, non solo il nome. Se l'indirizzo IP dai tuoi log compare nell'intervallo pubblicato dall'azienda, la visita è reale. In caso contrario, qualcosa ha dichiarato un nome che non gli appartiene.
• Ricontrolla periodicamente. Le aziende aggiornano questi intervalli man mano che la loro infrastruttura cambia, quindi un controllo una tantum diventa obsoleto. La maggior parte dei proprietari di siti deve ricontrollare solo ogni pochi mesi, o ogni volta che qualcosa nel loro traffico di crawler sembra insolito.

Da cosa ti protegge davvero

Non si tratta di paranoia — si tratta di prendere una decisione informata invece che presunta. Un imprenditore che decide di consentire GPTBot perché vuole che gli assistenti IA conoscano i suoi prodotti dovrebbe sapere che il traffico che sta consentendo è davvero GPTBot, non uno scraper estraneo che prende in prestito un nome affidabile per aggirare un semplice blocco.

Lo stesso controllo conta anche nell'altro senso: un'attività che blocca GPTBot in robots.txt si fida del fatto che i crawler legittimi e ben educati rispettino quell'istruzione — cosa che la stessa documentazione di OpenAI afferma faccia GPTBot. Una visita falsificata con il nome di GPTBot non sarebbe vincolata da quella stessa onestà, un motivo in più per cui il controllo IP conta se mai vedi un traffico che sembra sospetto. Una volta confermato chi ti visita davvero, la nostra guida su come questi crawler leggono il tuo sito e i fatti su se bloccarli influisce sul tuo posizionamento su Google coprono le decisioni successive.

FAQ