Le cadre de décision robots.txt pour les robots d'IA

robots.txt, en bref : une vraie norme, pas une suggestion

robots.txt est un fichier texte brut à la racine d'un site web qui indique aux logiciels visiteurs quelles parties du site ils peuvent ou ne peuvent pas explorer. Ce n'est pas une invention propriétaire de Google — c'est formellement normalisé en tant que Robots Exclusion Protocol, RFC 9309, publié par l'Internet Engineering Task Force, l'organisme qui normalise le fonctionnement de la plomberie de base d'internet.

Chaque grand opérateur de robot d'IA déclare respecter ce fichier pour ses robots d'exploration automatisés — OpenAI pour GPTBot et OAI-SearchBot, Anthropic pour ClaudeBot et Claude-SearchBot, et Perplexity pour PerplexityBot le disent tous dans leur propre documentation. Les robots déclenchés par l'utilisateur — ChatGPT-User, Claude-User, Perplexity-User — font exception, puisqu'ils agissent sur la demande directe d'une personne précise.

Question un : voulez-vous que les assistants d'IA vous recommandent ?

Cela paraît évident, mais cela vaut la peine d'être dit clairement, car la réponse honnête diffère selon l'entreprise. Un dentiste, un plombier, un restaurant local — presque tout commerce dont les clients demandent à leurs amis, et de plus en plus à des assistants d'IA, « qui devrais-je appeler » — veut généralement que la réponse soit oui. Une entreprise bâtie sur l'exclusivité ou un processus de vente très contrôlé peut avoir de vraies raisons de dire non.

Si la réponse est oui, cela oriente vers l'autorisation des robots qui alimentent les réponses d'un assistant : les robots d'entraînement qui apprennent à un modèle votre existence, et les robots de type recherche qui lui permettent de vous citer directement.

Question deux : ce contenu vous rapporte-t-il de l'argent directement ?

Certains contenus existent purement pour être trouvés et lus — une page de services, un article de blog, une FAQ. D'autres contenus sont le produit lui-même : les articles réservés aux abonnés d'un éditeur de presse, la documentation premium d'une société SaaS, les annonces détaillées d'une place de marché. Le contenu de la seconde catégorie mérite une réponse plus prudente, car laisser entraîner le modèle de quelqu'un d'autre avec revient à donner ce que vous essayez de vendre, plutôt que de le faire connaître.

Cette question divise souvent un même site web en deux réponses différentes : les pages marketing disent oui à l'exploration, et le contenu payant ou propriétaire dit non — ce qui est parfaitement légitime, puisque les règles robots.txt peuvent être écrites pour des chemins précis, pas seulement pour le site entier.

Question trois : pouvez-vous réellement maintenir cela ?

Un fichier robots.txt qui nomme dix robots précis aujourd'hui sera dépassé le jour où un onzième sera lancé. Si personne dans votre équipe ne va revisiter ce fichier tous les quelques mois, une politique plus simple et plus durable — autoriser globalement les grands robots bien documentés comme catégorie, revisiter deux fois par an — vaut mieux qu'un ensemble de règles élaboré que personne ne maintient.

Être réaliste sur votre propre capacité de maintenance n'est pas un compromis ; une politique que vous pouvez réellement tenir à jour vous protège mieux qu'une politique ambitieuse qui devient obsolète en un an.

Appliquer le cadre à trois entreprises réelles

Un plombier local répond oui à la question un (veut des recommandations IA), la question deux s'applique à peine (une page de services ne rapporte rien en restant secrète), et la question trois est facile (il y a peu à maintenir). Le cadre aboutit clairement à : autoriser largement les grands robots.

Une société SaaS répond oui à la question un pour son site marketing et son blog public, mais un non prudent à la question deux pour sa documentation premium et son contenu d'aide intégré au produit, dont elle vend l'accès. Son robots.txt finit avec deux règles différentes pour deux parties différentes du même domaine — pages marketing ouvertes, documentation payante fermée.

Un éditeur de presse donne souvent la réponse la plus nuancée : oui à la question un pour ses articles gratuits, puisque les citations génèrent une vraie notoriété auprès des lecteurs, mais un non ferme à la question deux pour son travail d'enquête payant dont dépend son activité. Parce que Google-Extended et ses équivalents chez d'autres entreprises séparent l'entraînement de la visibilité dans la recherche, un éditeur peut raisonnablement autoriser l'exploration de type recherche de son contenu gratuit tout en refusant que ce même contenu serve à l'entraînement de modèles.

FAQ