O framework de decisão do robots.txt para crawlers de IA

robots.txt em resumo: um padrão de verdade, não uma sugestão

robots.txt é um arquivo de texto simples na raiz de um site que informa ao software visitante quais partes do site ele pode e não pode rastrear. Não é uma invenção proprietária do Google — é formalmente padronizado como o Robots Exclusion Protocol, RFC 9309, publicado pelo Internet Engineering Task Force, o órgão que padroniza como funciona a infraestrutura básica da internet.

Todo grande operador de crawler de IA declara respeitar esse arquivo para seus bots de rastreamento automatizados — OpenAI para GPTBot e OAI-SearchBot, Anthropic para ClaudeBot e Claude-SearchBot, e Perplexity para PerplexityBot afirmam isso em suas próprias documentações. Os bots acionados pelo usuário — ChatGPT-User, Claude-User, Perplexity-User — são a exceção, já que agem a pedido direto de uma pessoa específica.

Pergunta um: você quer que assistentes de IA te recomendem?

Parece óbvio, mas vale a pena dizer isso claramente porque a resposta honesta varia de negócio para negócio. Um dentista, um encanador, um restaurante local — praticamente qualquer negócio cujos clientes perguntam a amigos, e cada vez mais a assistentes de IA, "a quem eu deveria ligar" — geralmente quer que a resposta seja sim. Um negócio construído sobre exclusividade ou um processo de venda rigidamente controlado pode ter razões reais para dizer não.

Se a resposta é sim, isso aponta para permitir os crawlers que alimentam as respostas de um assistente: os crawlers de treinamento que ensinam a um modelo sua existência, e os crawlers tipo busca que permitem que ele te cite diretamente.

Pergunta dois: esse conteúdo gera dinheiro diretamente para você?

Parte do conteúdo existe apenas para ser encontrado e lido — uma página de serviços, um post de blog, um FAQ. Outro conteúdo é o próprio produto: os artigos exclusivos para assinantes de um veículo de notícias, a documentação premium de uma empresa SaaS, os anúncios detalhados de um marketplace. O conteúdo da segunda categoria merece uma resposta mais cautelosa, porque deixá-lo treinar o modelo de outra pessoa equivale a entregar de graça o que você está tentando vender, em vez de divulgá-lo.

Essa pergunta frequentemente divide um mesmo site em duas respostas diferentes: as páginas de marketing dizem sim ao rastreamento, e o conteúdo pago ou proprietário diz não — o que é totalmente legítimo, já que as regras do robots.txt podem ser escritas para caminhos específicos, não apenas para o site inteiro.

Pergunta três: você consegue realmente manter isso?

Um arquivo robots.txt que nomeia dez bots específicos hoje ficará desatualizado no dia em que um décimo primeiro for lançado. Se ninguém no seu time vai revisitar esse arquivo a cada poucos meses, uma política mais simples e duradoura — permitir os grandes crawlers bem documentados como categoria, revisar duas vezes por ano — é melhor do que um conjunto elaborado de regras que ninguém mantém.

Ser realista sobre sua própria capacidade de manutenção não é uma concessão; uma política que você realmente consegue manter atualizada te protege melhor do que uma ambiciosa que fica obsoleta em um ano.

Aplicando o framework a três negócios reais

Um encanador local responde sim à pergunta um (quer recomendações de IA), a pergunta dois quase não se aplica (uma página de serviços não ganha nada ficando em segredo), e a pergunta três é fácil (há pouco para manter). O framework chega claramente a: permitir amplamente os grandes crawlers.

Uma empresa SaaS responde sim à pergunta um para seu site de marketing e blog público, mas um não cauteloso à pergunta dois para sua documentação premium e conteúdo de ajuda embutido no produto, cujo acesso ela vende. Seu robots.txt acaba com duas regras diferentes para duas partes diferentes do mesmo domínio — páginas de marketing abertas, documentação paga fechada.

Um veículo de notícias costuma dar a resposta mais matizada: sim à pergunta um para seus artigos gratuitos, já que citações geram reconhecimento real entre os leitores, mas um não firme à pergunta dois para seu trabalho investigativo pago do qual seu negócio depende. Como o Google-Extended e seus equivalentes em outras empresas separam o treinamento da visibilidade na busca, um veículo pode plausivelmente permitir o rastreamento tipo busca de seu conteúdo gratuito enquanto ainda recusa que esse mesmo conteúdo seja usado para treinar modelos.

FAQ