Como verificar visitas reais de rastreadores de IA nos logs do seu servidor

Por que o nome nos seus logs não basta sozinho

Imagine o site de um consultório odontológico cujos logs mostram cinquenta visitas no mês passado de algo se autodenominando "GPTBot". Parece prova de que a OpenAI está lendo o site. Mas uma string de user-agent é totalmente autodeclarada — como um visitante na recepção simplesmente dizendo seu nome em voz alta, sem ninguém checar um documento. Um programa totalmente diferente, criado por qualquer pessoa, pode dizer exatamente o mesmo nome.

Isso importa por dois motivos práticos: se você está decidindo se bloqueia ou permite um rastreador, quer saber que está de fato controlando o verdadeiro, não uma imitação. E se está tentando entender quanto tráfego real de rastreadores de IA recebe, uma contagem inflada ou falsa te dá uma imagem completamente errada.

O método de verificação real: listas de IP publicadas

Cada grande operador resolve isso da mesma forma: publica um arquivo legível por máquina listando as faixas reais de endereços IP de onde seus rastreadores enviam requisições. Uma requisição só é genuinamente o rastreador daquela empresa se tanto o nome do user-agent quanto o endereço IP de origem corresponderem ao que a própria empresa publica.

A OpenAI publica arquivos de verificação separados para cada um dos seus bots — GPTBot, OAI-SearchBot, OAI-AdsBot e ChatGPT-User têm cada um sua própria lista. A Anthropic publica uma lista que cobre seus rastreadores em claude.com/crawling/bots.json. A Perplexity publica arquivos para seus dois bots — PerplexityBot e Perplexity-User — e sua própria documentação recomenda checar o nome do user-agent e o endereço IP juntos para um resultado confiável.

A verificação em quatro passos, em termos simples

Você não precisa ser desenvolvedor para fazer essa verificação, embora ter ajuda de um para os passos técnicos deixe tudo mais rápido.

• Encontre as visitas alegadas nos seus logs. Procure nos logs de acesso do seu servidor pelo nome do bot que você está verificando — "GPTBot", "ClaudeBot" ou "PerplexityBot" — e anote o endereço IP de onde veio cada requisição.
• Abra a lista de IP publicada pela empresa. Cada uma é um pequeno arquivo de texto simples nos endereços acima, feito para ser lido por software, mas perfeitamente legível por uma pessoa também.
• Compare o endereço IP, não só o nome. Se o endereço IP dos seus logs aparecer na faixa publicada pela empresa, a visita é real. Se não aparecer, algo alegou um nome que não é dele.
• Reverifique periodicamente. As empresas atualizam essas faixas conforme sua infraestrutura muda, então uma verificação única fica desatualizada. A maioria dos donos de sites só precisa reverificar a cada poucos meses, ou sempre que algo no tráfego de rastreadores parecer incomum.

Do que isso realmente te protege

Isso não é sobre paranoia — é sobre tomar uma decisão informada em vez de uma suposta. Um empresário que decide permitir o GPTBot porque quer que assistentes de IA conheçam seus produtos deveria saber que o tráfego que está permitindo é realmente GPTBot, não um scraper sem relação alguma emprestando um nome confiável para driblar um bloqueio simples.

A mesma verificação importa na direção oposta também: um negócio que bloqueia o GPTBot no robots.txt está confiando que rastreadores legítimos e bem-comportados respeitam essa instrução — o que a própria documentação da OpenAI afirma que o GPTBot faz. Uma visita falsa usando o nome do GPTBot não estaria presa a essa mesma honestidade, mais um motivo pelo qual a checagem de IP importa se você algum dia ver um tráfego que parece estranho. Depois de confirmar quem realmente está visitando você, nosso guia sobre como esses rastreadores leem seu site e os fatos sobre se bloqueá-los afeta seu ranqueamento no Google cobrem as próximas decisões.

FAQ