Cómo verificar visitas reales de rastreadores de IA en tus registros del servidor

Por qué el nombre en tus registros no basta por sí solo

Imagina la web de una clínica dental cuyos registros muestran cincuenta visitas el mes pasado de algo que se hace llamar «GPTBot». Parece una prueba de que OpenAI está leyendo el sitio. Pero una cadena de user-agent es completamente autodeclarada — como un visitante en recepción que simplemente dice su nombre en voz alta, sin que nadie compruebe una identificación. Un programa totalmente distinto, creado por cualquiera, puede decir exactamente el mismo nombre.

Esto importa por dos razones prácticas: si estás decidiendo si bloquear o permitir un rastreador, quieres saber que realmente estás controlando al verdadero, no a una imitación. Y si intentas entender cuánto tráfico real de rastreadores de IA recibes, un conteo inflado o falso te da una imagen completamente equivocada.

El método de verificación real: listas de IP publicadas

Cada gran operador resuelve esto de la misma forma: publica un archivo legible por máquina con los rangos reales de direcciones IP desde los que sus rastreadores envían solicitudes. Una solicitud solo es genuinamente el rastreador de esa empresa si tanto el nombre del user-agent como la IP de origen coinciden con lo que la propia empresa publica.

OpenAI publica archivos de verificación separados para cada uno de sus bots — GPTBot, OAI-SearchBot, OAI-AdsBot y ChatGPT-User tienen cada uno su propia lista. Anthropic publica una sola lista que cubre sus rastreadores en claude.com/crawling/bots.json. Perplexity publica archivos para sus dos bots — PerplexityBot y Perplexity-User — y su propia documentación recomienda comprobar juntos el nombre del user-agent y la dirección IP para un resultado fiable.

La comprobación en cuatro pasos, en términos sencillos

No necesitas ser desarrollador para hacer esta comprobación, aunque contar con uno para los pasos técnicos la hace más rápida.

• Localiza las visitas alegadas en tus registros. Busca en los registros de acceso de tu servidor el nombre del bot que estás verificando — «GPTBot», «ClaudeBot» o «PerplexityBot» — y anota la dirección IP de cada solicitud.
• Abre la lista de IP publicada por la empresa. Cada una es un pequeño archivo de texto plano en las direcciones anteriores, pensado para que lo lea software, pero perfectamente legible también por una persona.
• Compara la dirección IP, no solo el nombre. Si la IP de tus registros aparece en el rango publicado por la empresa, la visita es real. Si no, algo afirmó un nombre que no le pertenece.
• Vuelve a comprobar periódicamente. Las empresas actualizan estos rangos a medida que cambia su infraestructura, así que una comprobación única queda desactualizada. La mayoría de los dueños de sitios solo necesitan revisar cada pocos meses, o cuando algo en su tráfico de rastreadores parezca inusual.

De qué te protege esto realmente

Esto no va de paranoia — va de tomar una decisión informada en vez de una supuesta. Un empresario que decide permitir GPTBot porque quiere que los asistentes de IA conozcan sus productos debería saber que el tráfico que está permitiendo es realmente GPTBot, no un scraper sin relación que toma prestado un nombre de confianza para saltarse un bloqueo simple.

La misma comprobación importa en sentido contrario: un negocio que bloquea GPTBot en robots.txt confía en que los rastreadores legítimos y bien comportados respeten esa instrucción — algo que la propia documentación de OpenAI afirma que hace GPTBot. Una visita falsificada con el nombre de GPTBot no estaría sujeta a esa misma honestidad, una razón más por la que la comprobación de IP importa si alguna vez ves tráfico que parece extraño. Una vez que hayas confirmado quién te visita de verdad, nuestra guía sobre cómo leen tu sitio estos rastreadores y los hechos sobre si bloquearlos afecta tu posicionamiento en Google cubren las decisiones que vienen después.

FAQ