Rastreadores de IA y robots.txt: lista actualizada y cómo permitirlos o bloquearlos

Son rastreadores distintos: puedes decir sí a la búsqueda y no al entrenamiento.

Un error fácil de cometer es bloquear «toda la IA» con una lista copiada de internet y desaparecer, sin saberlo, de ChatGPT search o de Perplexity. Esta guía recoge los rastreadores de cada empresa según su documentación oficial, comprobada en noviembre de 2026.

Los tres tipos de rastreador de IA

Casi todas las empresas separan ya sus robots en tres funciones:

Lista de rastreadores de IA (noviembre de 2026)

Los nombres de la columna «Token» son los que se escriben en User-agent: de robots.txt.

Fuentes oficiales: OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Common Crawl y Bing^12345678.

Un robots.txt recomendado: búsqueda sí, entrenamiento no

Es una configuración habitual para marcas y agencias: aparecer en los motores de IA sin ceder el contenido para entrenar modelos.

# Búsqueda y acciones del usuario en asistentes de IA: permitido
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /

# Entrenamiento de modelos: bloqueado
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

# Resto de rastreadores, incluidos Googlebot, Bingbot y Applebot
User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Tres cosas que hay que saber antes de copiarlo:

1. Un rastreador que tiene su propio grupo ignora el grupo *. Si ya tienes reglas en User-agent: * (por ejemplo, Disallow: /carrito/), cópialas también en el grupo de los rastreadores de búsqueda.
2. Bloquear el entrenamiento es una decisión de negocio, no técnica. Si tu objetivo es que los modelos conozcan tu marca, quizá te interese permitir también el entrenamiento. No hay datos públicos que midan cuánto influye; decide según tu contenido.
3. Los cambios no son inmediatos. OpenAI habla de unas 24 horas para que sus sistemas se ajusten a un cambio de robots.txt, y Meta de hasta 24 horas porque guarda el fichero en caché.

El caso de Google: Googlebot, Google-Extended y Search Console

Google tiene la configuración más confusa, así que vale la pena detallarla:

• AI Overviews y AI Mode usan Googlebot y el índice normal de Google. Si bloqueas Googlebot, desapareces de Google entero.
• Google-Extended no te saca de los AI Overviews. Controla si el contenido se usa para entrenar los modelos Gemini y para el grounding en la app de Gemini y en Vertex AI. Google dice que no afecta a la inclusión ni al ranking en Google Search.
• Para salir de las funciones de IA de la búsqueda hay dos vías: las etiquetas nosnippet, data-nosnippet o max-snippet en la página, o el control de funciones de IA generativa en Search Console, que viene activado por defecto y permite excluir el sitio⁹.
• Novedad anunciada: Google dice en su documentación que piensa admitir a principios de 2027 una señal común de preferencia de entrenamiento con User-agent: __usage_ai-training, que se está trabajando en el grupo AIPREF del IETF.

El caso de Microsoft: Bing y Copilot

Copilot se apoya en el índice de Bing, así que lo que cuenta es Bingbot. Hasta ahora Microsoft usaba las etiquetas NOARCHIVE y NOCACHE para controlar el uso del contenido en sus funciones de IA. En octubre de 2026 anunció un cambio⁸:

• Desde el 1 de febrero de 2027 respetará una preferencia de entrenamiento en robots.txt con User-agent: __usage_ai-training y Disallow: /.
• El uso como fuente en respuestas (grounding) se permite por defecto y se controla a nivel de página.
• Desde el 1 de marzo de 2027, NOARCHIVE y NOCACHE dejarán de leerse como preferencia de entrenamiento o grounding.
• Nada de esto cambia la elegibilidad para los resultados normales de Bing.

Los rastreadores que no respetan robots.txt

Los que actúan por petición de un usuario son un caso aparte. OpenAI dice que para ChatGPT-User las reglas de robots.txt «pueden no aplicarse»; Perplexity, que Perplexity-User «en general ignora» robots.txt; Meta, que meta-externalfetcher puede saltárselo. Si de verdad necesitas bloquearlos, tendrás que hacerlo en el servidor o en el cortafuegos, usando las listas de IP que publican.

Y al revés: hay bots que se hacen pasar por rastreadores conocidos. OpenAI, Anthropic, Perplexity, Google y Common Crawl publican sus rangos de IP para que puedas comprobar que una visita es legítima antes de tomar decisiones con tus registros.

Cómo comprobar tu configuración

1. Abre https://tudominio.com/robots.txt y busca cada token de la tabla.
2. Busca reglas genéricas peligrosas: un Disallow: / en User-agent: * bloquea a todos los que no tengan grupo propio.
3. Revisa el cortafuegos o el CDN: algunos bloquean bots de IA por defecto aunque tu robots.txt los permita.
4. Mira los registros del servidor para ver qué rastreadores te visitan de verdad.
5. O pasa tu web por nuestra auditoría GEO gratuita, que revisa tu robots.txt contra los rastreadores de IA, junto con llms.txt y los datos estructurados.

Para seguir

Dejar entrar a los rastreadores es el primer paso, no el último. Luego hay que darles contenido que valga la pena citar y medir si lo citan: lo contamos en qué es GEO y en cómo medir la visibilidad en IA. En el curso de GEO Plus Academy, el módulo técnico arranca justo aquí, con una tarea para auditar y corregir el robots.txt de un sitio real.