Qué es robots.txt y cómo configurarlo sin bloquear tu web

¿Para qué sirve robots.txt?

Robots.txt sirve para indicar a los robots de los buscadores qué carpetas o URL no deben rastrear, por ejemplo el panel de administración, el carrito o las páginas de resultados de búsqueda interna.

Así se evita que Google gaste su rastreo en páginas sin valor y se concentra en las que deben posicionar. En webs pequeñas su efecto es menor; en tiendas con miles de filtros, es una pieza clave del presupuesto de rastreo.

Un ejemplo habitual es una tienda online cuyos filtros generan miles de combinaciones de URL: sin un Disallow para esos parámetros, Google puede pasar más tiempo en variantes inútiles que en las fichas de producto nuevas.

¿Cómo se escribe un robots.txt?

Un robots.txt se escribe en bloques: una línea User-agent que indica a qué robot se aplica y debajo las reglas Disallow (no rastrear) y Allow (sí rastrear), con rutas que empiezan por la barra.

User-agent: *
Disallow: /admin/
Disallow: /carrito/
Allow: /
Sitemap: https://tuweb.com/sitemap.xml

El asterisco aplica la regla a todos los robots. La línea Sitemap indica dónde está el mapa del sitio y puede ir en cualquier parte del archivo.

¿Dónde va el archivo robots.txt?

El archivo robots.txt tiene que estar en la raíz del dominio, en tuweb.com/robots.txt; en una subcarpeta no lo lee ningún robot.

Cada subdominio necesita su propio archivo: blog.tuweb.com/robots.txt no se rige por el de tuweb.com. Plataformas como Tilda o WordPress lo generan de forma automática y permiten editarlo.

¿Robots.txt quita una página de Google?

No: una URL bloqueada en robots.txt puede seguir apareciendo en Google, sin descripción, si otras webs la enlazan (Google Search Central).

Para que una página no aparezca hay que permitir el rastreo y añadir la etiqueta noindex: si la bloqueas en robots.txt, Google nunca llega a leer el noindex. Google dejó de admitir la regla noindex dentro de robots.txt el 1 de septiembre de 2019.

¿Cómo tratar a los robots de IA?

Los robots de IA se gestionan en el mismo archivo con su propio User-agent: OAI-SearchBot rastrea para la búsqueda de ChatGPT y GPTBot, para entrenar modelos de OpenAI (OpenAI).

Google usa el token Google-Extended, presentado en septiembre de 2023, para que las webs decidan si su contenido se usa para entrenar Gemini, sin afectar a la Búsqueda de Google. Si quieres aparecer en ChatGPT Search, no bloquees OAI-SearchBot; bloquear GPTBot solo afecta al entrenamiento.

¿Qué reglas ignora Google?

Google ignora la regla Crawl-delay y cualquier línea que no reconoce; para frenar el rastreo hay que ajustar la velocidad del servidor o contactar con Google, no el robots.txt (Google Search Central).

Tampoco tiene en cuenta reglas para robots concretos si el bloque de Googlebot no las incluye: cada robot sigue solo el grupo de reglas más específico que le corresponde.

¿Cómo configurar robots.txt paso a paso?

Cómo configurar robots.txt en cinco pasos:

1. Hacer una lista de las secciones que no deben rastrearse: administración, carrito, búsqueda interna, parámetros.
2. Escribir un bloque User-agent: * con esas rutas en Disallow.
3. Decidir qué hacer con los robots de IA y añadir sus bloques.
4. Añadir la línea Sitemap con la URL completa del sitemap.
5. Comprobarlo en el informe de robots.txt de Search Console y abrir tuweb.com/robots.txt para ver que carga.

¿Cómo comprobar que robots.txt funciona?

Search Console tiene un informe de robots.txt, que en noviembre de 2023 sustituyó a la antigua herramienta de prueba: muestra qué archivos ha encontrado Google, cuándo los leyó y si hubo errores (Google Search Central).

Para una URL concreta, la Inspección de URL indica si está «Bloqueada por robots.txt». Conviene revisarlo después de cada cambio de diseño o de plataforma, porque es cuando más se cuelan bloqueos accidentales.

¿Cuáles son los errores más frecuentes?

El error más grave es un Disallow: / olvidado tras el desarrollo de la web: bloquea el rastreo de todo el sitio.

• Bloquear archivos CSS y JavaScript que Google necesita para ver la página.
• Usar robots.txt para ocultar información privada: el archivo es público y cualquiera lo lee.
• Bloquear páginas con noindex, que entonces Google no puede leer.
• Bloquear sin querer a OAI-SearchBot y desaparecer de ChatGPT Search.