Comment les robots d'IA lisent réellement votre site web

Récupération contre rendu : la différence qui détermine ce qu'un robot voit

Chaque visite d'un site commence de la même façon : une requête part vers votre serveur, qui renvoie une réponse. Cette réponse est du HTML — le squelette brut de la page. Un site moderne livre souvent ce squelette volontairement presque vide, puis utilise JavaScript — de petits programmes exécutés dans le navigateur du visiteur — pour le remplir ensuite avec les vrais textes, prix et images.

Le navigateur d'un visiteur humain exécute ce JavaScript automatiquement, si bien qu'il ne remarque jamais cet écart. Le « rendu » est le terme technique pour cette étape supplémentaire : exécuter le JavaScript et construire la page finale. La « récupération » consiste simplement à saisir le HTML brut et à s'arrêter là. La plupart des robots d'IA récupèrent. Ils ne rendent pas.

Imaginez le site d'un plombier dont la page d'accueil se charge instantanément avec un logo et une photo, mais où la vraie liste des services — débouchage, réparation de chauffe-eau, interventions d'urgence — n'apparaît qu'une seconde plus tard, remplie par JavaScript après le chargement. Le navigateur d'un visiteur fait ce remplissage si naturellement qu'il ne remarque jamais ces deux étapes. Un robot d'IA qui ne fait que récupérer voit la coquille vide et s'arrête là. Pour ce robot, la liste des services n'existe tout simplement pas.

Les robots, un par un, et à quoi chacun sert vraiment

« Robot d'IA » ne désigne pas un seul robot — c'est une poignée d'entreprises, chacune exploitant plusieurs robots pour des tâches différentes. Savoir qui est qui compte, car en bloquer un ne bloque pas les autres.

OpenAI documente quatre robots distincts : GPTBot collecte du contenu pouvant servir à entraîner ses modèles. OAI-SearchBot explore le web pour décider quoi afficher lorsqu'on effectue une recherche dans ChatGPT. OAI-AdsBot vérifie la sécurité d'une page de destination publicitaire précise. ChatGPT-User est différent des trois autres — il ne visite une page en temps réel que parce qu'une personne a posé une question directe à ChatGPT, et la documentation d'OpenAI précise que « les règles du robots.txt peuvent ne pas s'appliquer » à ce robot, puisqu'une personne a explicitement demandé cette récupération.

Anthropic applique une répartition similaire : ClaudeBot collecte du contenu « pour améliorer l'utilité et la sécurité de nos modèles d'IA générative », Claude-SearchBot explore le web pour améliorer les résultats façon recherche dans Claude, et Claude-User ne récupère une page que lorsqu'une question d'utilisateur l'y conduit. Perplexity applique le même modèle : PerplexityBot explore pour faire apparaître et lier des sites, tandis que Perplexity-User ne récupère une page qu'en réponse à une question d'utilisateur.

Aucun de ces robots ne rend le JavaScript. Tous, selon la documentation de ces entreprises citée ci-dessus, sont censés respecter le robots.txt — à l'exception des robots déclenchés par l'utilisateur, qui existent précisément parce qu'une vraie personne attend une réponse de l'autre côté.

Googlebot est l'exception, et il vaut la peine de savoir pourquoi

Si les robots d'IA ne rendent pas le JavaScript, pourquoi cela semble-t-il si inhabituel ? Parce que Googlebot, lui, le fait. Google documente que Googlebot existe « pour trouver des informations permettant de construire les index de recherche de Google » et, pour bien y parvenir, Google a construit au fil des années un moteur de rendu complet — essentiellement un vrai navigateur exécuté à très grande échelle pour chaque page qu'il souhaite comprendre en profondeur.

C'est une infrastructure véritablement coûteuse, et à ce jour, les entreprises d'IA n'ont pas construit leur propre équivalent pour leurs robots. L'analyse de Vercel le dit clairement : « aucun des principaux robots d'IA ne rend actuellement le JavaScript. Cela inclut OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot). » La même analyse a constaté que ces robots récupèrent parfois les fichiers JavaScript d'un site — les robots de ChatGPT l'ont fait dans environ 11,5 % des requêtes, ceux de Claude dans environ 23,8 % — mais récupérer le fichier n'est pas la même chose que l'exécuter. Ils ne l'exécutent toujours pas. Sur cette même période, Vercel a mesuré 4,5 Md de requêtes mensuelles de Googlebot contre 569 M pour GPTBot et 370 M pour les robots de Claude — une fraction du volume.

Cet écart ne durera pas forcément éternellement. Mais pour un chef d'entreprise qui décide aujourd'hui quoi faire de son site, c'est la réalité actuelle, pas une loi immuable — à revisiter de temps en temps, sans pour autant en perdre le sommeil.

Ce que cela coûte réellement à un site web

Revenons au site du plombier. Si la liste des services, la carte des zones d'intervention et les avis clients ne se chargent qu'après la page initiale via JavaScript, voici ce qui se passe quand quelqu'un demande à un assistant IA « qui fait du dépannage plomberie d'urgence près de chez moi » : le robot de l'assistant a récupéré cette page à un moment donné, a vu une coquille presque vide, et est passé à autre chose. Il n'a jamais appris quels services ce plombier propose réellement.

Ce n'est pas un détail technique mineur — c'est, en des termes simples, la différence entre exister ou non dans la représentation du monde qu'a un assistant IA. Un plombier concurrent dont le site charge ses services directement dans cette première réponse du serveur est simplement plus visible pour être recommandé, sans que rien d'autre dans son activité ne soit meilleur.

Comment vérifier ce que votre propre site montre réellement à un robot

Vous n'avez pas besoin d'être technicien pour vérifier cela vous-même, et cela prend environ deux minutes.

• Faites un clic droit sur votre page d'accueil et choisissez « Afficher le code source » (ou appuyez sur Ctrl+U / Cmd+Option+U). Ce que vous voyez se rapproche du HTML brut qu'un robot récupère. Si vos services, prix ou informations clés n'apparaissent pas dans ce texte, ils risquent de ne pas être lisibles par un robot d'IA non plus.
• Désactivez un instant JavaScript dans votre navigateur (la plupart des navigateurs le proposent dans leurs outils de développement ou leurs réglages) et rechargez votre page d'accueil. Tout ce qui disparaît est exactement ce qu'un robot sans rendu ne voit jamais.
• Posez une question directe à la personne qui a créé ou gère votre site : « Notre contenu principal — services, prix, emplacement, horaires — est-il envoyé dans la première réponse du serveur, ou rempli ensuite par JavaScript ? » Si la réponse honnête est « rempli ensuite », c'est la priorité à corriger.

Que faire ensuite

Rien de tout cela n'exige de reconstruire votre site. Il s'agit simplement de veiller à ce que les mots les plus importants — ce que vous faites, où vous êtes, ce que cela coûte, pourquoi on devrait vous choisir — arrivent dès cette toute première réponse de votre serveur, avant même l'exécution de tout JavaScript. Les données structurées et une configuration de page propre et adaptée aux robots s'appuient exactement sur cette base, et Growli vérifie si les assistants IA peuvent réellement voir et recommander votre entreprise aujourd'hui, pas seulement si votre site a bonne allure dans un navigateur.

FAQ