Les robots d'exploration IA expliqués : GPTBot, ClaudeBot, PerplexityBot et les autres

Les robots, entreprise par entreprise

Pensez à robots.txt comme à un panneau sur la porte d'un magasin : « livraisons par l'arrière, clients bienvenus par l'entrée ». Cela ne fonctionne que si chaque visiteur lit les panneaux — et cela ne trie les visiteurs en groupes que si vous savez quel panneau s'applique à qui. Voici qui frappe réellement à la porte.

OpenAI documente quatre robots distincts. GPTBot rassemble du texte pour aider à entraîner et améliorer ses modèles — l'équivalent d'un chercheur qui lit des livres en bibliothèque pour se cultiver, sans répondre à une question précise. OAI-SearchBot est différent : il explore les pages pour que la fonction de recherche de ChatGPT puisse les trouver et les citer quand un utilisateur demande quelque chose, un rôle plus proche de celui d'un moteur de recherche qui indexe le web. ChatGPT-User visite une page à l'instant précis où une personne discute avec ChatGPT et où l'assistant doit vérifier quelque chose en direct — imaginez un vendeur qui va vérifier en réserve si un article est en stock, sous les yeux du client. OAI-AdsBot vérifie que les pages soumises comme publicités ChatGPT sont sûres à recommander. OpenAI documente les quatre robots, et leur comportement vis-à-vis de robots.txt, sur son site développeur.

Anthropic (l'entreprise derrière Claude) en fait tourner trois. ClaudeBot rassemble des pages pour l'entraînement du modèle, le même rôle de lecture en bibliothèque que GPTBot. Claude-SearchBot explore les pages pour améliorer ce que Claude peut trouver et citer dans ses résultats de recherche. Claude-User récupère une page précise à l'instant où un utilisateur de Claude pose une question à son sujet — le même comportement « vérification devant le client » que ChatGPT-User. Anthropic explique les trois robots, et comment contrôler chacun, dans son centre d'aide.

Perplexity s'en tient à deux. PerplexityBot explore et indexe les pages pour que les réponses de Perplexity puissent y renvoyer — de nouveau, un rôle d'indexation. Perplexity-User récupère une page en direct, pour le compte d'un utilisateur, à l'instant où une question en a besoin. La documentation de Perplexity nomme les deux et explique la différence.

Deux métiers, pas un seul : entraînement contre « tout de suite »

Une fois ce schéma en tête, toute cette ménagerie se ramène à deux catégories simples — et c'est cette distinction qui change réellement ce que vous devriez faire.

Les robots d'entraînement et d'indexation — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — visitent selon leur propre calendrier, indépendamment de tout client précis. C'est ainsi que ces entreprises bâtissent une connaissance générale et un index consultable du web au fil du temps. Bloquer l'un d'eux revient à dire à cette entreprise « n'utilisez pas mes futures pages pour cela » — un choix réel et significatif, mais qui prend effet lentement et ne touche rien de ce qui a déjà été appris avant le blocage.

Les robots déclenchés par un utilisateur — ChatGPT-User, Claude-User, Perplexity-User — visitent parce qu'une personne réelle, en pleine conversation, a demandé à l'assistant de regarder votre page tout de suite : pour vérifier un tarif actuel, lire le menu du jour, ou confirmer vos horaires. OpenAI et Perplexity affirment tous deux clairement que, la requête ayant été demandée par une personne, ce type de visite peut ne pas respecter robots.txt de la même façon qu'une exploration automatisée — le raisonnement étant qu'une personne posant une question directe mérite le même accès que si elle cliquait elle-même sur le lien.

Voilà pourquoi bloquer « le robot IA » comme un tout indifférencié se retourne si souvent contre vous : vous pouvez désactiver le robot qui aurait rendu votre entreprise plus repérable le mois prochain, sans rien faire pour empêcher qu'une page soit récupérée en direct dès demain — parce que cette récupération n'était de toute façon pas la vôtre à bloquer.

Lire ses propres journaux serveur pour voir qui est vraiment passé

Aucun logiciel spécial n'est nécessaire pour vérifier si l'un de ces robots visite votre site. Chaque serveur web conserve un journal d'accès — une liste continue de chaque visiteur et de ce qu'il a consulté — et chaque robot s'identifie dans une ligne appelée user-agent, un peu comme un livreur montrerait un badge.

Si votre site est hébergé avec un accès en ligne de commande, vous pouvez chercher vous-même dans ce journal. Une commande aussi simple qu'une recherche du texte « GPTBot », « ClaudeBot » ou « PerplexityBot » dans votre journal d'accès affichera chaque visite, avec la date, la page exacte demandée, et si le serveur a laissé passer la visite ou l'a bloquée. La plupart des panneaux d'administration d'hébergement (cPanel, Plesk et similaires) proposent le même journal via un écran « journal brut » ou « journal des visiteurs » accessible en quelques clics, si vous préférez éviter la ligne de commande.

Deux points valent d'être vérifiés une fois qu'on les a trouvés : la date de la dernière visite d'un robot donné (un robot d'entraînement qui n'est jamais passé signifie que vos pages ne font pas encore partie des données d'entraînement de cette entreprise), et si les requêtes ont réussi ou ont été bloquées — une page qui renvoie une erreur à GPTBot pourrait aussi la renvoyer au navigateur d'un vrai client, et il vaut mieux le savoir dans les deux cas.

Rédiger un robots.txt qui vous aide au lieu de vous cacher

robots.txt est un simple fichier texte placé à la racine de votre site (votresite.com/robots.txt) qui liste les règles précisant quels visiteurs automatisés peuvent lire quelles parties de votre site. La documentation d'exploration de Google — écrite pour son propre robot de recherche, mais le format de fichier est partagé par tous les opérateurs de robots — reste l'explication en langage clair la plus limpide de la syntaxe si vous n'en avez jamais ouvert un.

Pour presque toutes les petites entreprises locales, la position de départ la plus sûre est la plus simple : autoriser chaque robot à lire chaque page publique, sans écrire de règle Disallow spécifique aux robots IA. L'avantage d'être exploré est une chance d'être mentionné, comparé et recommandé ; l'inconvénient du blocage est d'être entièrement absent d'une réponse, sans aucun moyen de le savoir. Il n'existe aucune version de « bloqué partiellement » qui rendrait un assistant plus élogieux à votre égard — cela ne peut que vous rendre invisible à ce robot précis.

Les deux vraies exceptions sont les pages que vous ne voudriez pas non plus voir apparaître dans un moteur de recherche — un espace client privé, une page d'administration interne, un brouillon non publié — qui devraient déjà porter une règle Disallow pour tout robot, IA ou non. Et une page réellement trompeuse si elle est lue hors contexte, sans la mise en page et les mentions légales qui l'entourent sur votre site, ce qui est rare mais mérite un second regard si cela vous concerne.

Si vous décidez de bloquer un robot précis, utilisez son nom exact — « GPTBot », pas « OpenAI », pas « robots IA » — car chaque robot n'obéit qu'aux règles écrites à son propre nom. Une règle qui bloque GPTBot n'a aucun effet sur OAI-SearchBot, et inversement ; cette séparation est précisément la raison pour laquelle ces entreprises ont scindé leurs robots dès le départ.

• Listez chaque robot que vous visez par son nom exact, une ligne User-agent par robot.
• Ne laissez aucune règle Disallow spécifique aux robots IA, sauf pour une page réellement privée.
• Revérifiez le fichier après toute migration de site — un nouvel hébergeur livre parfois un robots.txt par défaut qui bloque tout.
• Testez le fichier en ligne à votresite.com/robots.txt dans un navigateur après publication ; une faute de frappe ici est silencieuse et facile à manquer.

FAQ