Cómo leen realmente los rastreadores de IA tu sitio web

Obtener frente a renderizar: la diferencia que decide qué ve un rastreador

Toda visita a un sitio web empieza igual: se envía una solicitud a tu servidor, y el servidor devuelve una respuesta. Esa respuesta es HTML — el esqueleto en bruto de la página. Un sitio web moderno a menudo entrega ese esqueleto casi vacío a propósito, y luego usa JavaScript — pequeños programas que se ejecutan en el navegador del visitante — para rellenarlo después con los textos, precios e imágenes reales.

El navegador de un visitante humano ejecuta ese JavaScript automáticamente, así que nunca nota la diferencia. «Renderizar» es el término técnico para ese paso adicional: ejecutar el JavaScript y construir la página terminada. «Obtener» es simplemente coger el HTML en bruto y quedarse ahí. La mayoría de los rastreadores de IA obtienen. No renderizan.

Imagina la web de un fontanero cuya página de inicio carga al instante con un logo y una foto, pero cuya lista real de servicios — desatascos, reparación de calentadores, urgencias — solo aparece un segundo después, rellenada por JavaScript tras cargar la página. El navegador de un visitante hace ese relleno con tanta fluidez que nunca nota que fueron dos pasos. Un rastreador de IA que solo obtiene ve el envoltorio vacío y se detiene ahí. Para ese rastreador, la lista de servicios sencillamente no existe.

Los robots, uno por uno, y para qué sirve realmente cada uno

«Rastreador de IA» no es un solo robot: son un puñado de empresas, cada una operando varios robots para tareas distintas. Saber cuál es cuál importa, porque bloquear uno no bloquea a los demás.

OpenAI documenta cuatro robots distintos: GPTBot recopila contenido que puede usarse para entrenar sus modelos. OAI-SearchBot rastrea para decidir qué mostrar cuando alguien busca dentro de ChatGPT. OAI-AdsBot verifica la seguridad de una página de destino publicitaria concreta. ChatGPT-User es distinto de los otros tres: solo visita una página en tiempo real porque una persona hizo una pregunta directa a ChatGPT, y la propia documentación de OpenAI señala que «es posible que las reglas de robots.txt no se apliquen» a este robot, ya que una persona solicitó explícitamente esa consulta.

Anthropic aplica una división parecida: ClaudeBot recopila contenido «para mejorar la utilidad y la seguridad de nuestros modelos de IA generativa», Claude-SearchBot rastrea para mejorar resultados tipo búsqueda dentro de Claude, y Claude-User solo obtiene una página cuando la pregunta de una persona lo lleva hasta allí. Perplexity aplica el mismo patrón: PerplexityBot rastrea para mostrar y enlazar sitios web, mientras que Perplexity-User solo obtiene una página en respuesta a la pregunta de una persona.

Ninguno de estos robots renderiza JavaScript. Todos, según la documentación de estas empresas citada arriba, están pensados para respetar robots.txt — salvo los activados por el usuario, que existen precisamente porque una persona real espera una respuesta al otro lado.

Googlebot es la excepción, y vale la pena saber por qué

Si los rastreadores de IA no renderizan JavaScript, ¿por qué resulta tan poco familiar? Porque Googlebot sí lo hace. Google documenta que Googlebot existe «para encontrar información y construir los índices de búsqueda de Google» y, para hacerlo bien, Google construyó a lo largo de muchos años un motor de renderizado completo — básicamente un navegador real funcionando a enorme escala para cada página que quiere entender por completo.

Esa es una infraestructura genuinamente cara, y ahora mismo las empresas de IA no han construido su propia versión para sus rastreadores. El propio análisis de Vercel lo dice sin rodeos: «ninguno de los principales rastreadores de IA renderiza actualmente JavaScript. Esto incluye a OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider) y Perplexity (PerplexityBot)». El mismo análisis descubrió que estos rastreadores a veces sí obtienen los archivos JavaScript de un sitio — los robots de ChatGPT lo hicieron en alrededor del 11,5 % de las solicitudes, los de Claude en alrededor del 23,8 % — pero obtener el archivo no es lo mismo que ejecutarlo. Siguen sin ejecutarlo. En ese mismo periodo, Vercel midió 4500 M de solicitudes mensuales de Googlebot frente a 569 M de GPTBot y 370 M de los rastreadores de Claude: una fracción del volumen.

Esta brecha no tiene por qué durar para siempre. Pero para un empresario que hoy decide qué hacer con su sitio web, es la realidad actual, no una ley permanente — vale la pena revisarla de vez en cuando, no perder el sueño por ella.

Lo que esto le cuesta realmente a un sitio web

Volvamos a la web del fontanero. Si la lista de servicios, el mapa de zonas de cobertura y las opiniones de clientes se cargan después de la página inicial mediante JavaScript, esto es lo que ocurre cuando alguien pregunta a un asistente de IA «quién hace fontanería de urgencia cerca de mí»: el rastreador del asistente obtuvo esa página en algún momento, vio un envoltorio casi vacío y siguió adelante. Nunca supo qué servicios ofrece realmente este fontanero.

Esto no es un detalle técnico menor — es, en términos sencillos, la diferencia entre existir o no en la imagen del mundo que tiene un asistente de IA. Un fontanero rival cuyo sitio carga sus servicios directamente en esa primera respuesta del servidor es simplemente más visible para ser recomendado, sin que nada más en su negocio sea mejor.

Cómo comprobar qué muestra realmente tu sitio a un rastreador

No necesitas ser técnico para comprobarlo tú mismo, y lleva unos dos minutos.

• Haz clic derecho en tu página de inicio y elige «Ver código fuente» (o pulsa Ctrl+U / Cmd+Option+U). Lo que ves se parece bastante al HTML en bruto que obtiene un rastreador. Si tus servicios, precios o datos clave no están en ese texto, es posible que tampoco los lea un rastreador de IA.
• Desactiva JavaScript en tu navegador un momento (la mayoría de los navegadores lo permiten en sus herramientas de desarrollo o ajustes) y recarga tu página de inicio. Lo que desaparezca es exactamente lo que un rastreador sin renderizado nunca llega a ver.
• Haz una pregunta directa a quien creó o mantiene tu sitio: «¿Nuestro contenido principal — servicios, precios, ubicación, horarios — se envía en la primera respuesta del servidor, o se rellena después con JavaScript?». Si la respuesta honesta es «se rellena después», esa es la prioridad a corregir.

Qué hacer a continuación

Nada de esto requiere reconstruir tu sitio web. Significa asegurarte de que las palabras más importantes — qué haces, dónde estás, cuánto cuesta, por qué deberían elegirte — lleguen en esa primerísima respuesta de tu servidor, antes de que se ejecute ningún JavaScript. Los datos estructurados y una configuración de página limpia y favorable a los rastreadores se construyen exactamente sobre esta base, y Growli comprueba si los asistentes de IA pueden realmente ver y recomendar tu negocio hoy, no solo si tu sitio se ve bien en un navegador.

FAQ