Rastreadores de IA explicados: GPTBot, ClaudeBot, PerplexityBot y compañía

Los bots, empresa por empresa

Piensa en robots.txt como un cartel en la puerta de una tienda: "entregas por detrás, clientes bienvenidos por delante". Solo funciona si cada visitante lee los carteles — y solo separa a los visitantes en grupos si sabes qué cartel aplica a cada uno. Estos son los que realmente llaman a la puerta.

OpenAI documenta cuatro bots distintos. GPTBot recopila texto para ayudar a entrenar y mejorar sus modelos — el equivalente a un investigador que lee libros de biblioteca para saber más, no para responder a una pregunta concreta. OAI-SearchBot es diferente: rastrea páginas para que la función de búsqueda de ChatGPT pueda encontrarlas y citarlas cuando un usuario pregunta algo, un papel más cercano al de un buscador que indexa la web. ChatGPT-User visita una página en el instante exacto en que una persona está chateando con ChatGPT y el asistente necesita comprobar algo en vivo — imagina a un dependiente que va a la trastienda a ver si queda stock, delante del cliente. OAI-AdsBot comprueba que las páginas enviadas como anuncios de ChatGPT son seguras para recomendar. OpenAI documenta los cuatro bots, y su comportamiento respecto a robots.txt, en su sitio para desarrolladores.

Anthropic (la empresa detrás de Claude) opera tres. ClaudeBot recopila páginas para el entrenamiento del modelo, el mismo papel de lectura en biblioteca que GPTBot. Claude-SearchBot rastrea páginas para mejorar lo que Claude puede encontrar y citar en sus resultados de búsqueda. Claude-User recupera una página concreta en el momento en que un usuario de Claude pregunta por ella — el mismo comportamiento de "comprobar delante del cliente" que ChatGPT-User. Anthropic explica los tres bots, y cómo controlar cada uno, en su centro de ayuda.

Perplexity se queda en dos. PerplexityBot rastrea e indexa páginas para que las respuestas de Perplexity puedan enlazarlas — de nuevo, el papel de indexación. Perplexity-User recupera una página en vivo, en nombre de un usuario, en el momento en que una pregunta la necesita. La documentación de Perplexity nombra a ambos y explica la diferencia.

Dos trabajos, no uno: entrenamiento frente a "ahora mismo"

Una vez visto este patrón, todo este catálogo de bots se reduce a dos categorías simples — y esta distinción es la que realmente cambia lo que deberías hacer.

Los bots de entrenamiento e indexación — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — visitan según su propio calendario, independientemente de un cliente concreto. Así construyen estas empresas conocimiento general y un índice consultable de la web con el tiempo. Bloquear uno de ellos le dice a esa empresa "no uses mis futuras páginas para esto" — una decisión real y significativa, pero que tarda en surtir efecto y no afecta a nada aprendido antes del bloqueo.

Los bots activados por el usuario — ChatGPT-User, Claude-User, Perplexity-User — visitan porque una persona real, en plena conversación, le pidió al asistente que mirara tu página ahora mismo: para comprobar un precio actual, leer el menú del día o confirmar tu horario. Tanto OpenAI como Perplexity afirman claramente que, como la petición la hizo una persona, este tipo de visita puede no respetar robots.txt de la misma forma que un rastreo automatizado — el razonamiento es que una persona que hace una pregunta directa merece el mismo acceso que tendría al hacer clic ella misma en el enlace.

Por eso bloquear "el bot de IA" como un todo indiferenciado suele salir mal: puedes desactivar el rastreador que habría hecho tu negocio más visible el mes que viene, sin evitar en absoluto que una página se recupere en vivo mañana — porque esa recuperación nunca fue tuya para bloquear.

Leer tus propios registros del servidor para ver quién ha pasado de verdad

No necesitas software especial para comprobar si algo de esto ocurre en tu sitio. Todo servidor web guarda un registro de acceso — una lista continua de cada visitante y lo que consultó — y cada rastreador se identifica en una línea llamada user-agent, igual que un repartidor podría mostrar una credencial.

Si tu sitio tiene acceso por línea de comandos, puedes buscar tú mismo en ese registro. Un comando tan simple como buscar el texto "GPTBot", "ClaudeBot" o "PerplexityBot" en tu registro de acceso te mostrará cada visita, con la fecha, la página exacta solicitada, y si el servidor dejó pasar la visita o la bloqueó. La mayoría de los paneles de control de hosting (cPanel, Plesk y similares) ofrecen el mismo registro mediante una pantalla de "registro sin procesar" o "registro de visitantes" accesible con un par de clics, si prefieres evitar la línea de comandos.

Merece la pena comprobar dos cosas una vez las encuentres: cuándo fue la última visita de un bot concreto (un bot de entrenamiento que nunca ha visitado significa que tus páginas todavía no forman parte de los datos de entrenamiento de esa empresa), y si las peticiones se completaron o fueron bloqueadas — una página que devuelve un error a GPTBot podría estar devolviendo ese mismo error al navegador de un cliente real, y conviene saberlo en cualquier caso.

Escribir un robots.txt que te ayude en lugar de esconderte

robots.txt es un simple archivo de texto que colocas en la raíz de tu sitio (tusitio.com/robots.txt) con reglas sobre qué visitantes automatizados pueden leer qué partes de tu sitio. La documentación de rastreo de Google — escrita para su propio rastreador de búsqueda, pero el formato del archivo lo comparten todos los operadores de bots — sigue siendo la explicación más clara de la sintaxis si nunca has abierto uno.

Para casi cualquier negocio local o pequeño, el punto de partida más seguro es el más simple: permitir que cada rastreador lea cada página pública, sin escribir reglas Disallow específicas para bots de IA. La ventaja de ser rastreado es la posibilidad de ser mencionado, comparado y recomendado; la desventaja de bloquear es quedar totalmente fuera de una respuesta, sin forma de saberlo. No existe una versión de "bloqueado a medias" que haga que un asistente te describa de forma más favorable — solo puede hacerte invisible para ese bot en concreto.

Las dos excepciones reales son las páginas que tampoco querrías que mostrara un buscador — un portal de clientes privado, una página de administración interna, un borrador sin publicar — que ya deberían llevar una regla Disallow para cualquier rastreador, sea de IA o no. Y una página que resulte realmente engañosa si se lee fuera de contexto, sin el diseño y los avisos legales que la rodean en tu sitio, algo poco frecuente pero que merece un segundo vistazo si se aplica a tu caso.

Si decides bloquear un bot concreto, usa su nombre exacto — "GPTBot", no "OpenAI", no "bots de IA" — porque cada bot solo obedece las reglas escritas con su propio nombre. Una regla que bloquea GPTBot no afecta a OAI-SearchBot, y viceversa; esa separación es precisamente la razón por la que estas empresas dividieron sus bots desde el principio.

• Enumera cada bot que quieras abordar por su nombre exacto, una línea User-agent por bot.
• No dejes reglas Disallow específicas para bots de IA salvo que una página sea realmente privada.
• Revisa el archivo tras cualquier migración de sitio — un nuevo hosting a veces trae un robots.txt por defecto que bloquea todo.
• Prueba el archivo publicado en tusitio.com/robots.txt en un navegador tras publicarlo; una errata aquí es silenciosa y fácil de pasar por alto.

FAQ