Made on
Tilda
Crawling · Categoría: SEO técnico
El rastreo es el proceso en el que los robots de un buscador, como Googlebot, visitan y descargan las páginas de una web siguiendo enlaces y sitemaps. Es el primer paso antes de la indexación, y Googlebot procesa los primeros 15 MB de cada archivo HTML (Google Search Central).
Rastreo no es indexación: rastrear es descargar la página; indexar es decidir guardarla en el índice. Una página puede rastrearse y no indexarse.
¿Cuánto tarda Google en rastrear tu web?
Googlebot empieza por URL que ya conoce, descarga cada página, extrae sus enlaces y añade las URL nuevas a una cola, de modo que descubre la web saltando de enlace en enlace y de los sitemaps (Google Search Central).
Después, las páginas pasan al renderizado, donde Google ejecuta el JavaScript, y a la indexación. Googlebot rastrea sobre todo con su versión para smartphone, porque Google indexa primero la versión móvil de las webs.
El descubrimiento también depende de la calidad: si Google encuentra muchas URL de poco valor en una web, rastrea con menos interés el resto. Por eso limpiar URL inútiles mejora el rastreo de las páginas importantes.
La frecuencia de rastreo depende de dos cosas: lo que el servidor aguanta sin ralentizarse y la demanda de Google por esa web, que crece con la popularidad y con la frecuencia con que cambia el contenido (Google Search Central).
Una web de noticias muy enlazada se rastrea varias veces al día; una web nueva sin enlaces, mucho menos. Si el servidor responde lento o con errores, Google reduce el rastreo para no sobrecargarlo.
El informe de estadísticas de rastreo de Search Console, en Ajustes, muestra las peticiones de Googlebot por día, el volumen descargado, el tiempo medio de respuesta y el desglose por código de respuesta, tipo de archivo y tipo de robot.
Es la forma de detectar problemas invisibles: un aumento de errores 5xx, un tiempo de respuesta que se dispara o un rastreo concentrado en URL con parámetros indican dónde se está perdiendo el esfuerzo de Google.
El rastreo se frena con errores de servidor, tiempos de respuesta altos, cadenas de redirecciones y miles de URL sin valor, como filtros o parámetros, que consumen visitas de Googlebot.
Cómo hacer más eficiente el rastreo de una web:
Google rastrea primero el HTML y renderiza el JavaScript después con una versión actualizada de Chromium, así que el contenido que solo aparece tras ejecutar scripts puede tardar más en verse (Google Search Central).
Para no depender del renderizado, el texto principal, los enlaces y las etiquetas importantes deben estar en el HTML inicial. Desde noviembre de 2020, Googlebot rastrea muchas webs con HTTP/2, lo que reduce la carga en el servidor.
En las auditorías de Estrategia 360 cruzamos tres fuentes: las estadísticas de rastreo de Search Console, el informe de indexación y un rastreo propio de la web con un agente de IA que hace en 10 minutos el análisis que antes llevaba 3 días.
Así se ve qué URL rastrea Google, cuáles indexa y cuáles deberían existir. Las diferencias entre las tres listas señalan los problemas: páginas huérfanas, URL basura o secciones que Google no alcanza.
El error más común es preocuparse por el rastreo en webs pequeñas, donde casi nunca es un problema, y descuidarlo en tiendas con miles de filtros, donde sí lo es.
| Fase | Qué hace Google | Dónde verlo |
|---|---|---|
| Descubrimiento | Encuentra URL por enlaces y sitemaps | Sitemaps, Enlaces |
| Rastreo | Descarga la página | Estadísticas de rastreo |
| Renderizado | Ejecuta el JavaScript | Inspección de URL |
| Indexación | Decide si la guarda | Indexación de páginas |
Que Google rastree una página no significa que la vaya a indexar ni a posicionar, y en webs de menos de unos miles de URL el rastreo rara vez es el cuello de botella: suele serlo la calidad o los enlaces.
El proceso en el que Googlebot visita y descarga las páginas de una web.
No: rastrear es descargar; indexar es guardar en el índice.
En Search Console, Ajustes, Estadísticas de rastreo.
No directamente: se consigue con un servidor rápido, buen enlazado y contenido que cambia.
El nombre en inglés del rastreo.
Los primeros 15 MB de cada archivo HTML.
Sí, en una fase posterior de renderizado.
Enlázala desde páginas ya indexadas, inclúyela en el sitemap y solicita la indexación en Search Console.
¿Quieres aplicarlo a tu web? Estrategia 360 hace auditoría seo en Barcelona y en remoto.
Fuentes: Google Search Central, cómo funciona la Búsqueda y estadísticas de rastreo · Google Search Central, límite de 15 MB de Googlebot · Google, rastreo con HTTP/2 (noviembre de 2020) · metodología de auditoría de Estrategia 360
Escrito por Alena Shakina, CEO de Estrategia 360 · Conoce al equipo