Crawlers de IA explicados: GPTBot, ClaudeBot, PerplexityBot e companhia

Os robôs, empresa por empresa

Pense no robots.txt como uma placa na porta de uma loja: "entregas pelos fundos, clientes bem-vindos pela frente". Isso só funciona se cada visitante ler as placas — e só separa visitantes em grupos se você souber qual placa se aplica a quem. Aqui está quem realmente está batendo à porta.

A OpenAI documenta quatro robôs distintos. O GPTBot coleta texto para ajudar a treinar e melhorar seus modelos — equivalente a um pesquisador lendo livros numa biblioteca para ficar mais informado, não para responder a uma pergunta específica. O OAI-SearchBot é diferente: ele rastreia páginas para que o recurso de busca do ChatGPT consiga encontrá-las e citá-las quando um usuário pergunta algo, papel mais próximo de um mecanismo de busca que indexa a web. O ChatGPT-User visita uma página no exato momento em que uma pessoa está conversando com o ChatGPT e o assistente precisa checar algo ao vivo — pense num vendedor que vai até o estoque conferir se um item está disponível, na frente do cliente. O OAI-AdsBot verifica se páginas enviadas como anúncios no ChatGPT são seguras para recomendar. A OpenAI documenta os quatro robôs, e seu comportamento em relação ao robots.txt, em seu site para desenvolvedores.

A Anthropic (a empresa por trás do Claude) opera três. O ClaudeBot coleta páginas para o treinamento do modelo, o mesmo papel de leitura de biblioteca do GPTBot. O Claude-SearchBot rastreia páginas para melhorar o que o Claude consegue encontrar e citar em seus resultados de busca. O Claude-User busca uma página específica no momento em que um usuário do Claude pergunta sobre ela — o mesmo comportamento de "checar na frente do cliente" do ChatGPT-User. A Anthropic explica os três robôs, e como controlar cada um, em sua central de ajuda.

A Perplexity se limita a dois. O PerplexityBot rastreia e indexa páginas para que as respostas do Perplexity possam linká-las — de novo, o papel de indexação. O Perplexity-User busca uma página ao vivo, em nome de um usuário, no momento em que uma pergunta precisa dela. A própria documentação do Perplexity nomeia os dois e explica a diferença.

Duas funções, não uma: treinamento versus "agora mesmo"

Uma vez que esse padrão fica claro, todo esse zoológico de robôs se resume a duas categorias simples — e é essa distinção que realmente muda o que você deveria fazer.

Os robôs de treinamento e indexação — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — visitam segundo sua própria agenda, independentemente de qualquer cliente específico. É assim que essas empresas constroem conhecimento geral e um índice pesquisável da web ao longo do tempo. Bloquear um deles diz a essa empresa "não use minhas páginas futuras para isso" — uma escolha real e significativa, mas que age lentamente e não afeta nada que já tenha sido aprendido antes do bloqueio.

Os robôs acionados pelo usuário — ChatGPT-User, Claude-User, Perplexity-User — visitam porque uma pessoa real, no meio de uma conversa, pediu ao assistente para olhar sua página agora mesmo: para checar um preço atual, ler o cardápio do dia ou confirmar seu horário de funcionamento. Tanto a OpenAI quanto a Perplexity afirmam claramente que, como o pedido partiu de uma pessoa, esse tipo de visita pode não respeitar o robots.txt da mesma forma que um rastreamento automatizado — o raciocínio é que quem faz uma pergunta direta merece o mesmo acesso que teria ao clicar no link ela mesma.

É por isso que bloquear "o robô de IA" como uma coisa única e indiferenciada costuma sair pela culatra: você pode desligar o rastreador que tornaria seu negócio mais fácil de descobrir no mês que vem, sem impedir em nada que uma página seja buscada ao vivo amanhã — porque essa busca nunca foi sua para bloquear, de qualquer forma.

Lendo os logs do seu próprio servidor para ver quem realmente apareceu

Você não precisa de nenhum software especial para verificar se algo disso está acontecendo no seu site. Todo servidor web mantém um log de acesso — uma lista contínua de cada visitante e do que ele acessou — e cada rastreador se identifica numa linha chamada user-agent, assim como um entregador poderia mostrar um crachá.

Se seu site é hospedado com acesso via linha de comando, você mesmo pode buscar nesse log. Um comando tão simples quanto procurar o texto "GPTBot", "ClaudeBot" ou "PerplexityBot" no seu log de acesso vai mostrar cada visita, com a data, a página exata solicitada, e se o servidor deixou a visita passar ou a bloqueou. A maioria dos painéis de controle de hospedagem (cPanel, Plesk e similares) oferece o mesmo log através de uma tela de "log bruto" ou "log de visitantes" acessível com poucos cliques, se você preferir evitar a linha de comando.

Vale a pena checar duas coisas assim que você as encontrar: quando um determinado robô visitou pela última vez (um robô de treinamento que nunca visitou significa que suas páginas ainda não fazem parte dos dados de treinamento daquela empresa), e se as solicitações foram bem-sucedidas ou bloqueadas — uma página que retorna um erro para o GPTBot pode estar retornando esse mesmo erro para o navegador de um cliente real, e vale saber disso de qualquer forma.

Escrevendo um robots.txt que ajuda em vez de te esconder

O robots.txt é um arquivo de texto simples que você coloca na raiz do seu site (seusite.com.br/robots.txt) listando regras sobre quais visitantes automatizados podem ler quais partes do seu site. A documentação de rastreamento do Google — escrita para seu próprio rastreador de busca, mas o formato do arquivo é compartilhado por todos os operadores de robôs — continua sendo a explicação mais clara em linguagem simples da sintaxe, se você nunca abriu um.

Para quase todo negócio local ou pequeno, a posição de partida mais segura é a mais simples: permitir que todo rastreador leia toda página pública, sem escrever nenhuma regra Disallow específica para robôs de IA. A vantagem de ser rastreado é a chance de ser mencionado, comparado e recomendado; a desvantagem de bloquear é ficar totalmente fora de uma resposta, sem nenhuma forma de saber que isso aconteceu. Não existe uma versão de "parcialmente bloqueado" que faça um assistente descrever você de forma mais favorável — o bloqueio só pode te tornar invisível para aquele robô específico.

As duas exceções reais são páginas que você também não gostaria que um mecanismo de busca mostrasse — um portal privado de clientes, uma página administrativa interna, um rascunho não publicado — que já deveriam ter uma regra Disallow para qualquer rastreador, de IA ou não. E uma página genuinamente enganosa se lida fora de contexto, sem o design e os avisos que a cercam no seu site, o que é raro, mas vale um segundo olhar se isso se aplica a você.

Se você decidir bloquear um robô específico, use seu nome exato — "GPTBot", não "OpenAI", não "robôs de IA" — porque cada robô só obedece regras escritas para o seu próprio nome. Uma regra que bloqueia o GPTBot não tem efeito algum sobre o OAI-SearchBot, e vice-versa; essa separação é o motivo inteiro pelo qual essas empresas dividiram seus robôs desde o início.

• Liste cada robô que você quer endereçar pelo nome exato, uma linha User-agent por robô.
• Deixe o arquivo sem regras Disallow específicas para IA, a menos que uma página seja genuinamente privada.
• Reverifique o arquivo após qualquer migração de site — uma nova hospedagem às vezes vem com um robots.txt padrão que bloqueia tudo.
• Teste o arquivo publicado em seusite.com.br/robots.txt num navegador depois de publicar; um erro de digitação aqui é silencioso e fácil de passar despercebido.

FAQ