Como os rastreadores de IA realmente leem o seu site

Buscar versus renderizar: a diferença que decide o que um rastreador vê

Toda visita a um site começa da mesma forma: uma requisição vai até o seu servidor, e o servidor devolve uma resposta. Essa resposta é HTML — o esqueleto bruto da página. Um site moderno costuma entregar esse esqueleto quase vazio de propósito, e depois usa JavaScript — pequenos programas que rodam no navegador do visitante — para preenchê-lo depois com os textos, preços e imagens de verdade.

O navegador de um visitante humano executa esse JavaScript automaticamente, então ele nunca percebe a diferença. "Renderização" é o termo técnico para essa etapa extra: executar o JavaScript e montar a página finalizada. "Buscar" é simplesmente pegar o HTML bruto e parar por aí. A maioria dos rastreadores de IA busca. Eles não renderizam.

Imagine o site de um encanador cuja página inicial carrega instantaneamente com logo e foto, mas a lista real de serviços — desentupimento, conserto de aquecedor, chamados de emergência — só aparece um segundo depois, preenchida por JavaScript após o carregamento da página. O navegador de um visitante faz esse preenchimento de forma tão suave que ele nunca percebe que foram duas etapas. Um rastreador de IA que apenas busca vê a casca quase vazia e para por aí. Para esse rastreador, a lista de serviços simplesmente não existe.

Os robôs, um por um, e para que cada um realmente serve

"Rastreador de IA" não é um único robô — é um punhado de empresas, cada uma operando vários robôs para tarefas diferentes. Saber quem é quem importa, porque bloquear um não bloqueia os outros.

A OpenAI documenta quatro robôs distintos: o GPTBot coleta conteúdo que pode ser usado para treinar seus modelos. O OAI-SearchBot rastreia a web para decidir o que mostrar quando alguém pesquisa dentro do ChatGPT. O OAI-AdsBot verifica a segurança de uma página de destino de anúncio específica. O ChatGPT-User é diferente dos outros três — ele só visita uma página em tempo real porque uma pessoa fez uma pergunta direta ao ChatGPT, e a própria documentação da OpenAI observa que "as regras do robots.txt podem não se aplicar" a ele, já que uma pessoa solicitou explicitamente aquela busca.

A Anthropic aplica uma divisão parecida: o ClaudeBot coleta conteúdo "para aprimorar a utilidade e a segurança dos nossos modelos de IA generativa", o Claude-SearchBot rastreia a web para melhorar resultados no estilo busca dentro do Claude, e o Claude-User só busca uma página quando a pergunta de uma pessoa o leva até lá. A Perplexity aplica o mesmo padrão: o PerplexityBot rastreia a web para exibir e linkar sites, enquanto o Perplexity-User só busca uma página em resposta à pergunta de uma pessoa.

Nenhum desses robôs renderiza JavaScript. Todos, segundo a documentação dessas empresas citada acima, devem respeitar o robots.txt — exceto os acionados pelo usuário, que existem justamente porque há uma pessoa de verdade esperando uma resposta do outro lado.

O Googlebot é a exceção, e vale a pena saber por quê

Se os rastreadores de IA não renderizam JavaScript, por que isso parece tão incomum? Porque o Googlebot renderiza. O Google documenta que o Googlebot existe "para encontrar informações e construir os índices de busca do Google" e, para fazer isso bem, o Google construiu ao longo de muitos anos um pipeline de renderização completo — essencialmente rodando um navegador de verdade em escala enorme para cada página que quer entender por completo.

Essa é uma infraestrutura genuinamente cara, e hoje as empresas de IA ainda não construíram sua própria versão dela para seus rastreadores. A própria análise da Vercel afirma isso sem rodeios: "nenhum dos principais rastreadores de IA renderiza JavaScript atualmente. Isso inclui OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot)." A mesma análise descobriu que esses rastreadores às vezes buscam os arquivos JavaScript de um site — os robôs do ChatGPT fizeram isso em cerca de 11,5% das requisições, os do Claude em cerca de 23,8% — mas buscar o arquivo não é o mesmo que executá-lo. Eles continuam sem executá-lo. No mesmo período, a Vercel mediu 4,5 bi de requisições mensais do Googlebot contra 569 mi do GPTBot e 370 mi dos rastreadores do Claude — uma fração do volume.

Essa diferença não precisa durar para sempre. Mas, para um empresário decidindo hoje o que fazer com seu site, essa é a realidade atual, não uma lei permanente — vale revisitar de vez em quando, sem perder o sono por causa disso.

O que isso realmente custa a um site de verdade

Voltando ao site do encanador. Se a lista de serviços, o mapa da área de atendimento e as avaliações de clientes só carregam depois da página inicial via JavaScript, é isto que acontece quando alguém pergunta a um assistente de IA "quem faz encanamento de emergência perto de mim": o rastreador do assistente buscou aquela página em algum momento, viu uma casca quase vazia e seguiu em frente. Ele nunca descobriu quais serviços esse encanador realmente oferece.

Isso não é um detalhe técnico menor — é, em termos simples, a diferença entre existir ou não existir na visão de mundo de um assistente de IA. Um encanador concorrente cujo site carrega os serviços diretamente naquela primeira resposta do servidor simplesmente fica mais visível para ser recomendado, sem que nada mais no negócio dele seja melhor.

Como verificar o que o seu próprio site realmente mostra a um rastreador

Você não precisa ser técnico para verificar isso sozinho, e leva cerca de dois minutos.

• Clique com o botão direito na sua página inicial e escolha "Ver código-fonte da página" (ou pressione Ctrl+U / Cmd+Option+U). O que você vê está bem próximo do HTML bruto que um rastreador busca. Se seus serviços, preços ou dados principais não estiverem nesse texto, eles podem não estar disponíveis para um rastreador de IA também.
• Desative o JavaScript no seu navegador por um instante (a maioria dos navegadores oferece isso nas ferramentas de desenvolvedor ou nas configurações) e recarregue sua página inicial. Tudo que desaparecer é exatamente o que um rastreador sem renderização nunca chega a ver.
• Faça uma pergunta direta a quem criou ou mantém seu site: "Nosso conteúdo principal — serviços, preços, localização, horários — é enviado na primeira resposta do servidor, ou preenchido depois por JavaScript?" Se a resposta honesta for "preenchido depois", essa é a correção prioritária.

O que fazer a seguir

Nada disso exige reconstruir o seu site. Significa garantir que as palavras mais importantes — o que você faz, onde você está, quanto custa, por que escolher você — cheguem naquela primeiríssima resposta do seu servidor, antes mesmo de qualquer JavaScript ser executado. Dados estruturados e uma configuração de página limpa e amigável para rastreadores se constroem exatamente sobre essa base, e a Growli verifica se os assistentes de IA conseguem realmente ver e recomendar o seu negócio hoje, não só se o seu site parece bom em um navegador.

FAQ