Robots.txt y entrenamiento de IA: prueba en dos casos reales
Probamos la propuesta de robots.txt para entrenamiento de IA en dos casos reales anonimizados y uno ficticio, con un analizador local.
¿Qué ocurre al añadir una preferencia sobre entrenamiento de IA a un robots.txt que ya contiene decenas de reglas, comodines y excepciones? Para investigarlo, he ejecutado un analizador local sobre copias de dos archivos reales. También he preparado un caso ficticio con grupos separados por proveedor.
Las webs de los clientes no se han modificado. Los nombres, dominios y rutas reales se han sustituido por identificadores ficticios. Los resultados muestran lo que devuelve el analizador local; no prueban cómo responden Google o cualquier otro proveedor.
Qué ha anunciado Google
El 30 de octubre de 2026 Google comunicó sus planes de apoyar una señal compartida en robots.txt para expresar preferencias sobre entrenamiento de IA. La señal conviviría con controles específicos de cada proveedor. Google apunta a soporte a comienzos de 2027. Anuncio de Google, documentación de Google-Extended.
El mecanismo ensayado utiliza el identificador __usage_ai-training, descrito en un borrador técnico individual. Es un trabajo en curso, no un estándar aprobado, y puede cambiar.
Rastreo, entrenamiento y respuestas: tres decisiones
Una regla de rastreo indica cómo se expresa una preferencia de acceso para un rastreador. La señal propuesta expresa una preferencia sobre el uso para entrenamiento. El borrador plantea que sean independientes, aunque se escriban en el mismo archivo.
Google documenta además que Google-Extended afecta al entrenamiento de futuras generaciones de modelos Gemini y a determinados usos de contenido como apoyo a respuestas en Gemini Apps y Vertex AI. Según Google, Google-Extended no afecta a la inclusión ni es una señal de posicionamiento en Google Search. Documentación de Google.
Cómo hice las pruebas
Revisé archivos públicos de clientes y seleccioné dos que presentaban numerosas reglas aplicables a Googlebot y coincidencias entre Allow y Disallow. El analizador procesó cada robots.txt real completo en memoria; a continuación añadí esta señal a una copia:
User-agent: __usage_ai-training
Disallow: /
Allow: /prueba-aislada-excepcion/
Comparé las respuestas para rutas relacionadas con reglas existentes y para una excepción ficticia. Las rutas reales no se publican. El cambio no se envió a los sitios ni a los proveedores.
El analizador aplicó su propia interpretación de las reglas. Google-Extended se presenta como una simulación de la interpretación prevista, no como una respuesta observada de Google.
Caso real 1: varias reglas coinciden con una ruta
El primer archivo contenía 86 reglas en total. Para dos rutas de prueba coincidían tres reglas aplicables a Googlebot, con instrucciones Allow y Disallow. En ambos casos el analizador seleccionó Allow y devolvió «permitido» para Googlebot antes y después de añadir la señal a la copia.
En esas mismas rutas, la preferencia de entrenamiento pasó de «sin expresar» a «en contra». La excepción ficticia recibió una preferencia a favor.
| Ruta | Googlebot antes y después | Preferencia de entrenamiento | Regla seleccionada |
|---|---|---|---|
| Ruta anonimizada 1 | Permitido → permitido | Sin expresar → en contra | Allow (3 reglas coincidentes) |
| Ruta anonimizada 2 | Permitido → permitido | Sin expresar → en contra | Allow (3 reglas coincidentes) |
| Excepción ficticia | Permitido → permitido | Sin expresar → a favor | — |
La diferencia es relevante: en esta simulación, añadir una preferencia sobre entrenamiento no cambió por sí mismo la respuesta de rastreo de Googlebot para las rutas probadas. No significa que hayamos comprobado todas las rutas del sitio.
Caso real 2: permiso y bloqueo en rutas diferentes
El segundo archivo contenía 76 reglas en total. Para una ruta de prueba coincidían Allow y Disallow; el analizador eligió Allow y Googlebot permaneció permitido. En otra ruta coincidían varias restricciones y la regla seleccionada fue Disallow: Googlebot permaneció bloqueado.
La preferencia de entrenamiento pasó de no estar expresada a estar en contra en las rutas probadas. El resultado de Google-Extended que figura en las pruebas es una simulación de la interpretación prevista.
| Ruta | Googlebot antes y después | Preferencia de entrenamiento | Regla seleccionada |
|---|---|---|---|
| Ruta anonimizada 1 | Permitido → permitido | Sin expresar → en contra | Allow (2 reglas coincidentes) |
| Ruta anonimizada 2 | Bloqueado → bloqueado | Sin expresar → en contra | Disallow (3 reglas coincidentes) |
| Excepción ficticia | Permitido → permitido | Sin expresar → a favor | — |
Esta prueba muestra por qué es útil revisar rutas concretas: un único robots.txt puede producir decisiones distintas según la ruta y las reglas que coincidan.
Caso ficticio: controles separados por proveedor
Para estudiar otra combinación preparé un archivo ficticio con un grupo general, otro para Googlebot con una excepción, un grupo específico que permite Google-Extended y otro que bloquea GPTBot. Después añadí la señal general de entrenamiento con una excepción para /prensa/.
En el analizador, Googlebot mantuvo las decisiones de su grupo, GPTBot siguió bloqueado y Google-Extended permaneció permitido por su grupo específico. La preferencia de entrenamiento quedó en contra fuera de la excepción y a favor en /prensa/nota.
| Ruta ficticia | Googlebot | GPTBot | Entrenamiento | Google-Extended simulado |
|---|---|---|---|---|
| /buscador/interno | Bloqueado → bloqueado | Bloqueado → bloqueado | En contra | Permitido |
| /buscador/ayuda/ | Permitido → permitido | Bloqueado → bloqueado | En contra | Permitido |
| /prensa/nota | Permitido → permitido | Bloqueado → bloqueado | A favor | Permitido |
Es un escenario ficticio y el resultado de Google-Extended es una simulación. Sirve para discutir cómo podrían convivir preferencias generales y específicas; no acredita que un proveedor aplique ya esa interpretación.
Qué contienen los robots.txt anonimizados
El paquete descargable contiene para cada caso real una reconstrucción antes y otra después del cambio. Los dominios y rutas son ficticios, los agentes no genéricos se sustituyen y los sitemaps apuntan a dominios de ejemplo. Se conservan los grupos y reglas interpretados por el analizador; se eliminan comentarios y directivas distintas de User-agent, Allow, Disallow y Sitemap.
Descargar los robots.txt anonimizados y resultados (ZIP).
Las rutas ficticias preservan la estructura, no el significado comercial. Cambiar las longitudes puede alterar la precedencia entre patrones. Por eso comprobé la equivalencia de la decisión de Googlebot y del tipo de regla ganadora para tres rutas por caso, no para todas las rutas posibles.
Las cifras de estructura podrían contribuir a identificar un sitio si se cruzan con información pública. Deben revisarse antes de publicar el artículo o los archivos.
Qué conviene revisar antes de aplicar cambios en una web
- Inventario de reglas: identificar grupos generales y específicos, comodines, excepciones y reglas que coinciden con las rutas importantes.
- Propósito: distinguir una decisión de rastreo de una preferencia sobre entrenamiento y del uso de contenido como apoyo a respuestas.
- Proveedor: comprobar qué control documenta cada uno y qué ocurre cuando hay instrucciones específicas.
- Rutas: decidir si la preferencia será general o si debe tener excepciones y comprobar posibles conflictos.
- Estado de la especificación: revisar el borrador y la documentación vigente antes de aplicar una sintaxis en producción.
- Responsabilidad: documentar quién decide la política, con qué evidencia y cuándo debe revisarse.
Una preferencia expresada en robots.txt no demuestra por sí sola que un tercero la cumpla. Tampoco garantiza que una página sea seleccionada, citada o reciba clics.
Qué demuestra la prueba y qué no
He ejecutado código real sobre archivos reales y copias modificadas. En las rutas seleccionadas, el analizador mantuvo las decisiones de rastreo de Googlebot al añadir el grupo de entrenamiento. En el caso ficticio también exploré la convivencia de grupos por proveedor.
No he probado una implementación desplegada por Google, ni el cumplimiento de otros proveedores, ni si un contenido concreto se usa para entrenar modelos. No he medido impacto en tráfico, indexación, citas o visibilidad. La especificación puede cambiar.
Qué me llevo
Una señal compartida podría simplificar la expresión de preferencias, pero antes de tocar robots.txt hay que entender las reglas existentes y la decisión de negocio detrás de cada control. Probar una copia y contrastar rutas concretas ayuda a detectar interacciones; después habrá que revisar la documentación y el comportamiento real de cada proveedor cuando exista soporte.
Fuentes
- Google Search Central: control compartido para entrenamiento.
- Google: documentación de Google-Extended.
- IETF: borrador de señal de entrenamiento, versión 00.
- IETF: estado del borrador.
Fecha de la prueba: 4 de noviembre de 2026.
Fuentes y estudios
Guías recomendadas
Amplía contexto estratégico con contenidos de profundidad.
Noticias relacionadas
Gemini 4 Argon llega al modo IA: qué cambia para la búsqueda
Google amplía la disponibilidad de Gemini 4 Argon al modo IA. Analizo qué conviene observar en las respuestas y fuentes sin confundir el cambio de modelo con una actualización del ranking.
Leer másNovedades SEO de octubre 2026
Novedades SEO de octubre de 2026 hasta el día 28: contenido con IA, control de fragmentos en Google, spam UGC y cierre del spam update.
Leer más¿Tu estrategia SEO no está dando resultados?
Analizamos tu web y detectamos las oportunidades de crecimiento ocultas en menos de 48 horas.
El SEO cambia. Tus decisiones también deberían hacerlo.
Una newsletter mensual sobre SEO, búsqueda con IA y crecimiento orgánico. Qué está cambiando, qué evidencia tenemos y cómo aplicarlo a tu negocio.