Robots.txt para IA: qué rastreadores permitir

En un robots.txt pensado para la IA hay que separar tres tipos de rastreador: los de búsqueda, que conviene dejar entrar; los de entrenamiento, que bloquear es una decisión de negocio que no te saca de ninguna búsqueda; y los que visitan una página porque un usuario lo ha pedido. Googlebot no se toca nunca: las funciones de IA de Google salen de él. El riesgo real no es elegir mal, es bloquear sin saberlo.

Debajo están los nombres exactos de cada rastreador según la documentación de cada empresa, cinco comprobaciones antes de escribir un Disallow, lo que el robots.txt no controla aunque lo parezca y lo que traen por defecto Cloudflare, WordPress y Shopify.

Qué rastreadores de IA permitir y cuáles bloquear

La regla corta: permite los de búsqueda, decide tú sobre los de entrenamiento y no cuentes con el robots.txt para los que actúan a petición de un usuario. Con los nombres que publica cada empresa, consultados el 20 de octubre de 2026:

Búsqueda, conviene permitirlos: Googlebot (Google), OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) y Applebot (Siri, Spotlight y Safari). Bloquear cualquiera de ellos es lo que de verdad te puede dejar fuera de las respuestas de ese asistente.
Entrenamiento, decisión tuya: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Applebot-Extended (Apple) y CCBot (Common Crawl). Bloquearlos indica que no quieres que tu contenido se use para entrenar modelos.
Visitas a petición del usuario: ChatGPT-User, Claude-User y Perplexity-User. Entran cuando alguien pide a un asistente que abra una página, y dos de las tres empresas avisan de que el robots.txt puede no aplicarse.

Para una pyme que quiere que la encuentren, el punto de partida razonable es el que ya tiene casi cualquier web: un único grupo User-agent: * que permite todo salvo las zonas privadas. A partir de ahí, cada línea que se añada debería tener un motivo escrito.

Los rastreadores de IA uno a uno, con su fuente

Cada empresa publica su lista y casi todas separan búsqueda y entrenamiento con nombres distintos. Las traducciones de las frases citadas son nuestras salvo en Google, que tiene la página en español.

OpenAI: OAI-SearchBot, GPTBot y ChatGPT-User

OAI-SearchBot es el de la búsqueda de ChatGPT y GPTBot, el del entrenamiento; cada ajuste es independiente del otro. La documentación de rastreadores de OpenAI lo pone como ejemplo: un sitio puede permitir OAI-SearchBot «para aparecer en los resultados de búsqueda» y prohibir GPTBot para indicar que su contenido no se use en el entrenamiento. Sobre el de búsqueda añade que los sitios excluidos «no se mostrarán en las respuestas de búsqueda de ChatGPT», aunque pueden seguir saliendo como enlaces de navegación, y que el cambio puede tardar unas 24 horas en aplicarse.

ChatGPT-User es otra cosa: visita una página cuando un usuario se lo pide y, según la misma página, «como estas acciones las inicia un usuario, las reglas de robots.txt pueden no aplicarse». OpenAI publica además OAI-AdsBot, que solo visita las páginas enviadas como anuncio en ChatGPT. Qué más pesa para salir en ChatGPT, más allá del acceso, lo contamos en cómo aparecer en ChatGPT.

Google: Googlebot y Google-Extended

Las Vistas creadas con IA y el Modo IA se controlan con Googlebot; Google-Extended no te saca de la Búsqueda. La página de Google sobre funciones de IA y tu sitio web dice que las reglas de robots.txt para el Googlebot son las que controlan el rastreo para la Búsqueda, y entre las prácticas básicas pide «asegurarse de que el rastreo está permitido en robots.txt y en cualquier CDN o infraestructura de alojamiento».

Google-Extended es un token sin rastreador propio: Google rastrea con sus agentes habituales y mira ese nombre en tu robots.txt para decidir el uso. Según la lista de rastreadores comunes de Google, sirve para gestionar si el contenido rastreado puede usarse para entrenar futuras generaciones de Gemini y también para la fundamentación, que Google define como «proporcionar contenido del índice de la Búsqueda de Google al modelo en el momento de la petición», en las aplicaciones de Gemini y en Vertex AI. La misma página cierra: «Google-Extended no afecta a la inclusión de los sitios en la Búsqueda de Google ni se utiliza como factor de posicionamiento en la Búsqueda de Google». La versión española lleva fecha del 19 de octubre de 2026 y la inglesa, del 15; el texto sobre Google-Extended dice lo mismo en las dos.

Lo que exige Google para salir en sus resultados con IA está desarrollado en cómo aparecer en las Vistas creadas con IA de Google.

Anthropic: Claude-SearchBot, ClaudeBot y Claude-User

Anthropic usa el mismo reparto en tres. Su página de ayuda sobre el rastreo dice que restringir ClaudeBot indica que los materiales futuros del sitio deben quedar fuera de sus datos de entrenamiento; que desactivar Claude-SearchBot impide indexar el contenido para la búsqueda y «puede reducir la visibilidad» del sitio en los resultados; y que desactivar Claude-User impide recuperar el contenido cuando un usuario pregunta. Pide repetir las reglas en cada subdominio y avisa de que bloquear sus direcciones IP en vez de usar el robots.txt puede no funcionar, porque les impide leer el propio archivo.

Perplexity: PerplexityBot y Perplexity-User

PerplexityBot es el de la búsqueda y, según Perplexity, no se usa para entrenar modelos. La documentación de rastreadores de Perplexity recomienda permitirlo y aceptar sus rangos de IP publicados, y calcula hasta 24 horas para que un cambio surta efecto. De Perplexity-User dice que, como la visita la pide un usuario, «por lo general ignora las reglas de robots.txt».

Apple: Applebot y Applebot-Extended

Applebot alimenta la búsqueda de Siri, Spotlight y Safari; Applebot-Extended solo decide si ese contenido puede entrenar los modelos de Apple. La página «About Applebot», publicada el 4 de septiembre de 2026, aclara que Applebot-Extended «no rastrea páginas web» y que las páginas que lo prohíben pueden seguir en los resultados de búsqueda. Para que tu contenido no se use en las respuestas generativas de Siri, Apple remite a la metaetiqueta nosnippet, no al robots.txt.

Common Crawl: CCBot

CCBot recopila un archivo abierto de la web y se bloquea con su propio nombre. La página de CCBot da el ejemplo User-agent: CCBot con Disallow: / y avisa de que hay rastreadores que se hacen pasar por CCBot, por lo que recomienda verificar las peticiones con DNS inverso.

Qué es GPTBot y cómo se bloquea

GPTBot es el rastreador con el que OpenAI recoge contenido que puede usarse para entrenar sus modelos. Bloquearlo no te saca de la búsqueda de ChatGPT, que depende de OAI-SearchBot. Para bloquearlo en todo el sitio basta con un grupo propio en el robots.txt:

User-agent: GPTBot
Disallow: /

Si además quieres dejar claro que la búsqueda sí puede entrar, el grupo de al lado sería User-agent: OAI-SearchBot con Allow: /. No hace falta si tu grupo general ya lo permite, y añadirlo tiene un efecto secundario que conviene conocer: el primer punto de la lista siguiente.

Qué revisar antes de bloquear

Casi todos los bloqueos accidentales salen de cinco sitios, y solo dos están en el propio robots.txt.

Un grupo con nombre propio deja de leer el comodín. La especificación de Google lo dice así: «Solo se le puede aplicar un grupo a cada rastreador»: el del user-agent más específico que coincida. «Los demás grupos se ignoran». Lo mismo establece el estándar RFC 9309: el grupo de * solo vale cuando no hay ninguno que coincida. Si tu robots.txt prohíbe el carrito o el área de clientes en User-agent: * y añades un grupo para OAI-SearchBot con un simple Allow: /, ese agente deja de ver las prohibiciones del comodín. Copia las reglas comunes dentro de cada grupo nuevo.
Google-Extended hace más que entrenamiento. No te saca de la Búsqueda de Google, pero sí te aparta de la fundamentación de las aplicaciones de Gemini. Si lo que quieres es que tu contenido sirva cuando alguien pregunta en Gemini, bloquear Google-Extended va en contra.
Si no nombras a Applebot, Apple sigue a Googlebot. Lo escribe Apple en su página: cuando el robots.txt no menciona a Applebot pero sí a Googlebot, Applebot sigue las instrucciones de Googlebot. Un grupo restrictivo pensado solo para Google afecta también a Siri y Spotlight.
El bloqueo puede estar fuera del robots.txt. Un cortafuegos, un CDN o un módulo de seguridad del hosting pueden rechazar a un rastreador aunque el robots.txt lo permita, y por eso Google habla de permitir el rastreo «en cualquier CDN o infraestructura de alojamiento». El caso más común es Cloudflare, en el apartado siguiente.
Un robots.txt que falla bloquea más que uno restrictivo. Si el archivo da un error de servidor, la especificación de Google dice que durante las primeras 12 horas deja de rastrear el sitio, y después usa la última versión buena hasta 30 días. Un 404, en cambio, se interpreta como que no hay restricciones. Google ignora además lo que supere 500 KiB.

Y una de calendario: los cambios no son inmediatos. OpenAI y Perplexity hablan de unas 24 horas y Google guarda el robots.txt en caché, por lo general, hasta 24 horas.

Lo que traen por defecto Cloudflare, WordPress y Shopify

El robots.txt que ves en tu servidor puede no ser el que reciben los rastreadores. Revisamos el 20 de octubre de 2026 la documentación y el código de tres plataformas habituales en webs de pymes. Es una revisión nuestra de lo que publican, no una medición de cuántas webs lo tienen activado.

Cloudflare puede reescribir tu robots.txt. Su ajuste de robots.txt gestionado, actualizado el 8 de octubre de 2026, antepone al tuyo un bloque propio cuando alguna de sus políticas de bots de IA está en bloqueo. El ejemplo que publica prohíbe, entre otros, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot y meta-externalagent, y deja una línea de señales de contenido con search=yes, ai-train=no. Con el entrenamiento en «Disallow» y la sincronización de preferencias activada, además del texto aplica un bloqueo en su red. Y en la página de bloqueo de bots de IA anunció nuevos valores por defecto desde el 15 de septiembre de 2026 para dominios nuevos: los bots de entrenamiento y de agente se bloquean en las páginas con anuncios y la búsqueda sigue permitida. Si tu web pasa por Cloudflare, abre tu dominio seguido de /robots.txt en el navegador y compara con el archivo de tu servidor.
WordPress no bloquea a nadie por defecto. La función que genera su robots.txt virtual en el código de WordPress escribe un único grupo User-agent: * que solo prohíbe el escritorio de administración. La casilla «Disuadir a los motores de búsqueda» ya no toca ese archivo: añade una metaetiqueta noindex a las páginas, que es peor, porque las saca del índice de Google y con él de sus resultados con IA. Lo que suele cambiar el robots.txt de un WordPress son los plugins de SEO o de seguridad.
Shopify separa el robots.txt de su catálogo. Su ayuda sobre robots.txt explica que bloquear rastreadores de IA en el robots.txt o en la red solo afecta a que te descubran en la web abierta: los datos de producto que Shopify Catalog envía a canales como ChatGPT o Copilot siguen saliendo según la configuración de esos canales, no según el robots.txt.

El nuestro, para que se vea cómo queda lo mínimo: el robots.txt de potenciasoluciones.com tiene un único grupo User-agent: * que permite todo salvo la carpeta de la API interna y declara el sitemap. No nombra a ningún rastreador de IA, así que no excluye a ninguno, tampoco a los de entrenamiento. Es una decisión, no un olvido: lo que publicamos está hecho para que se lea.

Lo que el robots.txt no controla

El robots.txt es una petición, no una cerradura, y solo mira hacia delante. Cloudflare lo resume en su documentación: cumplirlo es voluntario y algunos operadores pueden ignorarlo. Si necesitas impedir el acceso de verdad, hace falta un bloqueo en el servidor o en el CDN.

Tampoco controla tres cosas que se suelen dar por hechas:

Las visitas que pide un usuario. OpenAI dice que con ChatGPT-User las reglas pueden no aplicarse y Perplexity, que Perplexity-User por lo general las ignora.
Lo que ya se rastreó. Anthropic habla de excluir los materiales «futuros» del sitio. Prohibir hoy el rastreo de entrenamiento no deshace el de ayer.
Lo que se muestra en Google. Para limitar lo que Google enseña de tus páginas, la propia página de funciones de IA remite a nosnippet, data-nosnippet, max-snippet y noindex, no al robots.txt. Qué hace cada uno y por qué casi nunca le conviene a una pyme lo contamos en el artículo sobre las Vistas creadas con IA.

Un ejemplo: la clínica que se bloqueó con un plugin

Ejemplo ilustrativo, sin datos de un cliente real. Una clínica dental de Valencia instala un plugin de seguridad en su WordPress y activa la opción «bloquear bots de IA» porque ha leído que la IA copia contenidos. El plugin añade un grupo por cada nombre de una lista larga, y en esa lista van mezclados GPTBot, que es de entrenamiento, con OAI-SearchBot y PerplexityBot, que son de búsqueda.

Nadie lo nota durante semanas: la web sigue en Google y las llamadas no cambian. Lo que ha cambiado es que ChatGPT y Perplexity ya no pueden leer la web para responder a «dentista en Valencia que haga ortodoncia invisible». La revisión de diez minutos que lo habría evitado es abrir el robots.txt, buscar los nombres de búsqueda de la primera lista de este artículo y comprobar que ninguno tiene un Disallow: /.

Nuestra lectura

Esto es análisis de PotencIA, no algo que digan las fuentes. Para un negocio que vive de que lo encuentren, bloquear el entrenamiento rara vez compensa el riesgo de equivocarse de nombre, y bloquear la búsqueda casi nunca tiene sentido. Si tu contenido es tu producto —un medio, una academia, un banco de recursos—, la cuenta es otra y bloquear el entrenamiento es razonable.

En nuestra herramienta gratuita de auditoría GEO lo puntuamos así: que OAI-SearchBot, Claude-SearchBot, PerplexityBot y Applebot puedan entrar y que Googlebot y Bingbot puedan entrar son dos de sus 33 comprobaciones; los rastreadores de entrenamiento se enseñan pero no restan. Dos correcciones que nos deja este artículo, porque el método también se publica:

En la ficha de la herramienta escribimos que Google-Extended «solo afecta al entrenamiento». La documentación de Google dice que también a la fundamentación en las aplicaciones de Gemini y en Vertex AI. Queda anotado para corregirlo.
Nuestro lector de robots.txt no aplica la regla de Apple de seguir a Googlebot cuando no se nombra a Applebot: si tu archivo restringe a Googlebot y no menciona a Applebot, la herramienta puede dar por permitido a Applebot cuando Apple no lo trataría así.

Si quieres el resto de lo que pesa para que un asistente te tenga en cuenta, el marco completo está en cómo trabajamos el GEO. Y si en tu web el robots.txt es solo una parte de lo que no cuadra, eso es lo que revisa una auditoría SEO: rastreo, indexación y lo que hay detrás de cada bloqueo.

Preguntas relacionadas

¿Bloquear GPTBot me quita de ChatGPT?

No de su búsqueda. OpenAI documenta que GPTBot es el del entrenamiento y que el de búsqueda es OAI-SearchBot, con ajustes independientes. Lo que te quita de las respuestas de búsqueda de ChatGPT es bloquear OAI-SearchBot.

¿Bloquear Google-Extended me quita de las Vistas creadas con IA?

No. Google dice que Google-Extended no afecta a la inclusión en la Búsqueda, y las Vistas creadas con IA y el Modo IA forman parte de la Búsqueda. Sí afecta al uso de tu contenido para entrenar Gemini y para la fundamentación en las aplicaciones de Gemini.

¿Cómo sé qué rastreadores de IA visitan mi web?

En los registros de tu servidor, buscando sus nombres en el user-agent y verificando la IP con los rangos que publica cada empresa. El robots.txt solo dice lo que pides, no quién viene. El método completo para medir si apareces lo explicamos en cómo medir si apareces en ChatGPT, y lo que Cloudflare empezó a vigilar sobre el comportamiento de estos bots, en Cloudflare ya puntúa si los rastreadores de IA respetan tu web.

¿Necesito un llms.txt además del robots.txt?

No para Google: la Búsqueda dice que lo ignora. Son archivos distintos con fines distintos, y por qué el llms.txt no debería ser el centro de nada lo explicamos en llms.txt: qué es y por qué no debería ser el centro de tu estrategia GEO.

Cómo se ha comprobado

Todas las fuentes se descargaron el 20 de octubre de 2026 desde España. La de OpenAI, en su versión Markdown publicada por la propia OpenAI; las de Google, en español y en inglés para comparar fechas; la de WordPress, en el código fuente de su repositorio oficial. Las frases de fuentes en inglés las hemos traducido nosotros. El robots.txt de potenciasoluciones.com se leyó en producción el mismo día. Este artículo lo firma una parte interesada: vendemos auditorías SEO y trabajo de GEO.