🔴 Lo último: robots.txt al frente de la batalla
Lo último importante a tener en cuenta si estás poniendo el foco en ChatGPT es:
ChatGPT cierra el acceso a CommonCrawl
- Robots.txt ahora limita acceso a crawlers rivales: CommonCrawl, Claude, Gemini, Perplexity, Meta, ByteDance.
- Solo OAI-SearchBot, el propio de OpenAI, conserva permiso.
- Incluso los chats compartidos públicamente tienen restricciones (después de anteriormente indexarse todos en Google)
Esto marca un cambio: de entrenar con datos públicos a bloquear el acceso a todos quién les a podido ayudar.
Cronología inversa de cambios en ChatGPT hasta la actualidad
Listado de cosas «importantes» en lo que a ChatGPT respecta y que las marcas deben tener en cuenta para aparecer en este LLMs
- 2025 (septiembre): OpenAI bloquea crawlers de IA rivales vía robots.txt.
- 2025 (junio): Retirada de los chats descubribles tras ser indexados por buscadores.
- 2024–2025: Escándalos con PerplexityBot por supuesta evasión de bloqueos.
- 2024 (abril-diciembre): OpenAI firma acuerdos masivos de licencia con medios (Financial Times, News Corp, The Washington Post, Vox, The Atlantic, Reddit, etc.).
- 2023 (agosto): Nace GPTBot, el crawler de OpenAI; múltiples webs empiezan a bloquearlo.
Septiembre de 2025 – El bloqueo en robots.txt
Se pone más estricto con su archivo robots.txt para bloquear a la mayoría de crawlers de IA. Google-Extended (Gemini), ClaudeBot (Anthropic), PerplexityBot, CCBot (CommonCrawl), FacebookBot (Meta) y Bytespider (ByteDance) quedaron fuera.
La única excepción es OAI-SearchBot, el bot propio de OpenAI, que mantiene permiso de acceso. Incluso los chats compartidos públicamente por usuarios pasaron a tener acceso restringido.
Lo que da que ChatGPT se está protegiendo frente a la competencia y asegura que el entrenamiento de sus modelos dependa de datos controlados y de licencias, no de scraping abierto. Ahora esta primera IA si recopila datos pero no facilita a otras IA, cerramos alcance de visibilidad para las marcas que si las tenían en cuenta otras IA.
Junio de 2025 – El escándalo de los chats descubribles
OpenAI se les cuela la indexación de chats. Esta función permitía a los usuarios compartir conversaciones públicamente, se detectó que los motores de búsqueda estaban indexando estos mismos. Por lo visto y al arreglarlo, comenzó a contratar a un consultor SEO, se vió la oferta por linkedin.
Imaginate los fragmentos de conversaciones privadas en Google y Bing. OpenAI eliminó la función en junio de 2025.
Ese día se descubrieron secretos sin duda, una gran brecha por no tener en cuenta esta posibilidad.
2024–2025 – PerplexityBot y la polémica por evadir bloqueos
Durante la segunda mitad de 2024 y principios de 2025, PerplexityBot le dió por evadir las restricciones de robots.txt, accediendo a información aunque el acceso estuviera explícitamente prohibido, en su defensa, se sabe que otros también lo hacen,
Esto genera desconfianza para Perplexity, pero ya se sabe que la técnica del scraping es bien conocida, y más cuando se trata de datos los consultores SEOs lo hacemos durante años cuando Google no lo permite realmente de forma oficial y sin control.
2024 – Los acuerdos de licencia como nuevo modelo
Ante el endurecimiento de bloqueos y la desconfianza hacia los crawlers, OpenAI apuesta por comprar el acceso a los datos.
Asi que venga, aquí tenemos el listado, desconozco lo que pagaron:
- News Corp (The Wall Street Journal, The Times, The Sun).
- Financial Times.
- Condé Nast (Vogue, Wired, The New Yorker).
- The Washington Post.
- Vox y The Atlantic.
- Reddit.
- Y otros como The Guardian, AP y TechCrunch.
En total, más de 30 asociaciones confirmadas.
Para OpenAI, es la manera de garantizar independencia de CommonCrawl y de la web abierta.
Agosto de 2023 – El nacimiento de GPTBot
OpenAI lanza GPTBot, su propio crawler para recolectar datos de la web.
A cual mayor es el pánico, muchos sitios web lo están bloqueando, realmente Google también lo hace con IAO y nadie lo bloquea. No lo entiendo, ambos generan negocio.
🧭 Como influye este cambio en la visibilidad de tu sitio web | Actualizado: 12/09/2025
Puntos a tener en cuenta que vamos recopilando sobre lo que va sucediendo.
- Ahora si bloqueas a OAI-SearchBot estás pidiendo que chatgpt no pueda analizar tu sitio web.
- Si permites acceso a ChatGPT estás cediendo tu contenido.
- Si en algún momento alguna fuente de datos corta el grifo de golpe, tu visibilidad se verá afecta en el LLMs, en otras palabras, diversifica contenido en diferentes plataformas e indexa en diferentes buscadores así siempre estarás presentes dentro de ChatGPT.
- Decir que haces GEO actualmente tiene matices, si eres 100% solo vendes humo
- El buen SEO de toda la vida está funcionando en LLMs
- El SEO se vuelve complejo y se NECESITA diversificar a una estrategia compleja no solo en web
- Las queries si venian multiplicandose x10 en Google ahora se incrementan de forma exponencial.
- Es el momento de aparecer en rankings y seguir apostando por Linkbuilding
- Trabaja la marca, esto cada vez coge más fuerza
- Aparecerán más IAs, pero da igual, el SEO bien implementado funciona para todas ellas siempre que se optimice la parte «GEO»
