El marco de decisión de robots.txt para rastreadores de IA

robots.txt, en breve: un estándar real, no una sugerencia

robots.txt es un archivo de texto plano en la raíz de un sitio web que indica al software visitante qué partes del sitio puede y no puede rastrear. No es una invención propietaria de Google — está formalmente estandarizado como el Robots Exclusion Protocol, RFC 9309, publicado por el Internet Engineering Task Force, el organismo que estandariza cómo funciona la fontanería básica de internet.

Todo gran operador de rastreadores de IA declara que respeta este archivo para sus bots de rastreo automatizados — OpenAI para GPTBot y OAI-SearchBot, Anthropic para ClaudeBot y Claude-SearchBot, y Perplexity para PerplexityBot lo dicen todos en su propia documentación. Los bots activados por el usuario — ChatGPT-User, Claude-User, Perplexity-User — son la excepción, ya que actúan ante la solicitud directa de una persona concreta.

Pregunta uno: ¿quieres que los asistentes de IA te recomienden?

Suena obvio, pero vale la pena decirlo claramente porque la respuesta honesta varía según el negocio. Un dentista, un fontanero, un restaurante local — casi cualquier negocio cuyos clientes le preguntan a amigos, y cada vez más a asistentes de IA, «a quién debería llamar» — generalmente quiere que la respuesta sea sí. Un negocio construido sobre la exclusividad o un proceso de venta muy controlado puede tener razones reales para decir que no.

Si la respuesta es sí, eso apunta a permitir los rastreadores que alimentan las respuestas de un asistente: los rastreadores de entrenamiento que le enseñan a un modelo tu existencia, y los rastreadores tipo búsqueda que le permiten citarte directamente.

Pregunta dos: ¿este contenido te hace ganar dinero directamente?

Parte del contenido existe únicamente para ser encontrado y leído — una página de servicios, una entrada de blog, unas preguntas frecuentes. Otro contenido es el producto en sí: los artículos solo para suscriptores de un medio, la documentación premium de una empresa SaaS, los listados detallados de un marketplace. El contenido de la segunda categoría merece una respuesta más cuidadosa, porque dejar que entrene el modelo de otra persona equivale a regalar lo que intentas vender, en lugar de promocionarlo.

Esta pregunta a menudo divide un mismo sitio web en dos respuestas distintas: las páginas de marketing dicen que sí al rastreo, y el contenido de pago o propietario dice que no — algo totalmente legítimo, ya que las reglas de robots.txt pueden escribirse para rutas concretas, no solo para todo el sitio.

Pregunta tres: ¿puedes realmente mantener esto?

Un archivo robots.txt que nombra a diez bots concretos hoy quedará desactualizado el día que se lance un undécimo. Si nadie en tu equipo va a revisar este archivo cada pocos meses, una política más simple y duradera — permitir a los grandes rastreadores bien documentados como categoría, revisarla dos veces al año — es mejor que un conjunto de reglas elaborado que nadie mantiene.

Ser realista sobre tu propia capacidad de mantenimiento no es un compromiso a la baja; una política que de verdad puedas mantener al día te protege mejor que una ambiciosa que queda obsoleta en un año.

Aplicando el marco a tres negocios reales

Un fontanero local responde sí a la pregunta uno (quiere recomendaciones de IA), la pregunta dos apenas se aplica (una página de servicios no gana nada manteniéndose en secreto), y la pregunta tres es fácil (hay poco que mantener). El marco aterriza claramente en: permitir ampliamente a los grandes rastreadores.

Una empresa SaaS responde sí a la pregunta uno para su sitio de marketing y su blog público, pero un no cuidadoso a la pregunta dos para su documentación premium y su contenido de ayuda dentro del producto, cuyo acceso vende. Su robots.txt acaba con dos reglas distintas para dos partes distintas del mismo dominio — páginas de marketing abiertas, documentación de pago cerrada.

Un medio editorial suele dar la respuesta más matizada: sí a la pregunta uno para sus artículos gratuitos, ya que las citas impulsan una concienciación real entre los lectores, pero un no firme a la pregunta dos para el trabajo de investigación de pago del que depende su negocio. Como Google-Extended y sus equivalentes en otras empresas separan el entrenamiento de la visibilidad en la búsqueda, un medio puede razonablemente permitir el rastreo tipo búsqueda de su contenido gratuito mientras sigue negándose a que ese mismo contenido se use para entrenar modelos.

FAQ