Comment vérifier les vraies visites de robots d'IA dans vos journaux serveur

Pourquoi le nom dans vos journaux ne suffit pas à lui seul

Imaginez le site d'un cabinet dentaire dont les journaux montrent cinquante visites le mois dernier d'un visiteur se nommant « GPTBot ». Cela ressemble à une preuve qu'OpenAI lit le site. Mais une chaîne d'agent utilisateur est entièrement auto-déclarée — comme un visiteur à l'accueil qui dirait simplement son nom à voix haute, sans que personne ne vérifie une pièce d'identité. Un programme totalement différent, créé par n'importe qui, peut dire exactement le même nom.

Cela compte pour deux raisons pratiques : si vous décidez de bloquer ou d'autoriser un robot, vous voulez savoir que vous contrôlez vraiment le vrai robot, pas une imitation. Et si vous essayez de comprendre combien de vrai trafic de robots d'IA vous recevez, un compte gonflé ou falsifié vous donne une image complètement fausse.

La vraie méthode de vérification : les listes IP publiées

Chaque grand opérateur résout ce problème de la même façon : il publie un fichier lisible par machine listant les véritables plages d'adresses IP depuis lesquelles ses robots envoient leurs requêtes. Une requête n'est authentiquement le robot de cette entreprise que si le nom de l'agent utilisateur et l'adresse IP source correspondent tous deux à ce que l'entreprise publie elle-même.

OpenAI publie des fichiers de vérification séparés pour chacun de ses robots — GPTBot, OAI-SearchBot, OAI-AdsBot et ChatGPT-User ont chacun leur propre liste. Anthropic publie une seule liste couvrant ses robots à l'adresse claude.com/crawling/bots.json. Perplexity publie des fichiers pour ses deux robots — PerplexityBot et Perplexity-User — et sa propre documentation recommande de vérifier ensemble le nom de l'agent utilisateur et l'adresse IP pour un résultat fiable.

La vérification en quatre étapes, en termes simples

Vous n'avez pas besoin d'être développeur pour effectuer cette vérification, même si l'aide de l'un d'eux pour les étapes techniques accélère les choses.

• Repérez les visites revendiquées dans vos journaux. Recherchez dans les journaux d'accès de votre serveur le nom du robot que vous vérifiez — « GPTBot », « ClaudeBot » ou « PerplexityBot » — et notez l'adresse IP de chaque requête.
• Ouvrez la liste IP publiée par l'entreprise. Chacune est un petit fichier texte brut aux adresses ci-dessus, conçu pour être lu par un logiciel mais parfaitement lisible par une personne aussi.
• Comparez l'adresse IP, pas seulement le nom. Si l'adresse IP de vos journaux figure dans la plage publiée par l'entreprise, la visite est réelle. Sinon, quelque chose a revendiqué un nom qui ne lui appartient pas.
• Revérifiez périodiquement. Les entreprises mettent à jour ces plages à mesure que leur infrastructure change, donc une vérification unique devient obsolète. La plupart des propriétaires de sites n'ont besoin de revérifier que tous les quelques mois, ou dès que quelque chose dans leur trafic de robots semble inhabituel.

Ce que cela vous protège réellement

Il ne s'agit pas de paranoïa — il s'agit de prendre une décision éclairée plutôt que supposée. Un chef d'entreprise qui décide d'autoriser GPTBot parce qu'il veut que les assistants d'IA connaissent ses produits devrait savoir que le trafic qu'il autorise est bien GPTBot, et non un scraper sans rapport empruntant un nom de confiance pour contourner un simple blocage.

La même vérification compte aussi dans l'autre sens : une entreprise qui bloque GPTBot dans robots.txt fait confiance au fait que les robots légitimes et bien élevés respectent cette instruction — ce que la propre documentation d'OpenAI affirme de GPTBot. Une visite falsifiée portant le nom de GPTBot ne serait pas liée par cette même honnêteté, ce qui est une raison de plus pour laquelle la vérification IP compte si vous voyez un jour un trafic qui semble anormal. Une fois que vous avez confirmé qui vous visite vraiment, notre guide sur la façon dont ces robots lisent votre site et les faits sur l'impact éventuel d'un blocage sur votre classement Google couvrent les décisions qui suivent.

FAQ