El Crawl Budget, o lo que es lo mismo, el Presupuesto de Rastreo de Google es una parte fundamental del SEO y muchas veces no suele tenerse en cuenta.
Puedes tener el mejor contenido, las URLs e imágenes superbien optimizadas y todas esas cosas raras que solemos hacer en nuestra agencia de posicionamiento web, pero si no tienes totalmente controlado este aspecto es más que probable que el bot no llegue a poder rastrear toda tu web, perdiendo así la oportunidad de poder rankear las URLs que más interesan.
En las siguientes líneas aprenderás qué es el Crawl Budget, cómo monitorizarlo, los beneficios que tiene optimizarlo y qué pasos debes seguir para poder tenerlo bajo control, ¡empezamos!
👉 ¿Qué es el Crawl Budget o presupuesto de rastreo?
Definición de Crawl Budget:
El Crawl Budget o presupuesto de rastreo es el número de solicitudes realizadas por Googlebot a tu página web en un período de tiempo determinado. En otras palabras, es el tiempo que destina Google en tu web para rastrearla. Tu autoridad, frecuencia de publicaciones, velocidad y otras señales como el sitemap, los enlaces, etc. juegan un papel importante en el presupuesto de rastreo de tu sitio web.
Es un proceso que se puede optimizar, consiguiendo así que el bot acabe rastreando las páginas que más te puedan interesen y para hacerlo puedes recurrir a Google Search Console donde podrás comprobar cuántas páginas están rastreando los robots. Para hacerlo tienes que ir a Rastreo >> Estadísticas de Rastreo y allí podrás encontrar información inicial sobre el promedio de páginas que rastrea Google.
¿Cómo sé cuál es el Crawl Budget de mi web?
Hay que tener en cuenta a qué zonas de tu web está accediendo el bot de Google y con qué frecuencia, y la mejor manera de controlarlo es analizando los logs que están alojados en el servidor. Para ello contamos con la ayuda de un software que nos lo va a poner un poco más fácil, es Screaming Frog Log Analyser.
Con Log Analyser podrás controlar:
- Donde está accediendo el bot de Google y donde no.
- Cada cuánto lo hace, es decir, con qué frecuencia.
- Los sitios que más frecuenta.
- Si existen códigos de respuesta 3xx, 4xx y 5xx.
Con los siguientes datos ya puedes hacerte una idea de lo que está haciendo el bot. A partir de aquí puedes optimizar mejor el presupuesto de rastreo hacia las URLs más importantes.
¿Por qué es importante tener un buen Crawl Budget?
Es un aspecto que la mayoría de gente no tiene en cuenta y es vital tenerlo controlado. ¿Por qué? Pues porque cuanto más controlado está, más a menudo pasará el bot y más tiempo dedicará a rastrear la web con la consiguiente mejora del ranking en las SERPs que ello implica. Las páginas que no rastrea es muy probable que ni aparezcan en los resultados de Google o lo acaben haciendo muchísimo más tarde de lo esperado.
👉 ¿Cómo optimizar el Crawl Budget?
Existen diversas formas, pero entre las acciones más comunes y sencillas de revisar serían: minimizar las redirecciones 301, arreglar los enlaces rotos, mejorar la velocidad de tu web o mejorar el enlazado interno para que Google no se pierda y acabe en páginas que no te interesan.
Minimiza las redirecciones 301
Tienes que controlar el volumen de redirecciones ya que no es positivo tener demasiadas porque es tiempo que el bot pierde yendo de URL en URL. Además, estas deberían apuntar directamente a la URL definitiva, no a través de varias redirecciones. Si hay una cadena los rastreadores fluyen a través de los enlaces y tienen que destinar mucho más tiempo para llegar a la página de destino. Esto es desperdiciar el valioso presupuesto de rastreo y significa que los motores de búsqueda están perdiendo tiempo para llegar a la página correcta.
Enlaces rotos
Es importante asegurarse de que no existen enlaces rotos en la web, no solo porque sea perjudicial para la experiencia de usuario sino también porque hace que sea muy difícil para los rastreadores navegar por el site. Si un rastreador no puede llegar a cierta página, no la indexará. Es importante que realices comprobaciones periódicas de todos los enlaces para garantizar que funcionan correctamente. Puedes comprobarlo con Search Console de Google y Screaming Frog.
Velocidad del site
La velocidad de la página es un factor muy importante para mejorar el presupuesto de rastreo. No sólo es un factor de ranking importante, sino que también puede determinar si las páginas más importantes de la web son vistas o no por los motores de búsqueda.
Cuanto más rápido se cargue un sitio web, más tiempo pueden pasar los bots rastreando las páginas más importantes que quieres potenciar. Además del aumento de la cantidad de páginas que se rastrean, la mejora de la velocidad también proporciona al usuario una mayor experiencia en el sitio web. La mejora de velocidad es un claro Win/Win.
Sitemap
El archivo robots.txt es uno de los primeros lugares en los que un rastreador mira cuando rastrea por primera vez una página web. Puedes utilizarlo para dirigir los motores de búsqueda al sitemap xml. Esto facilita a los rastreadores la indexación de todo el site.
👉¿Cómo aumentar el Crawl Budget?
También hay diversas formas, entre ellas destacamos: actualizar frecuentemente tu contenido e incluir nuevo y aumentar la autoridad de tu sitio para que Google recurra muchas más veces a tu web a través de nuevos enlaces.
Actualizar frecuentemente tu contenido
Actualizando constantemente el contenido de tu web harás que Google tarde mucho menos tiempo en volver a pasar por tus URLs y por lo tanto, que te tenga más en cuenta de cara al crawl budget que destine a tu página web.
Incluir nuevo
Incluir nuevo contenido a tu web tiene un efecto similar a la acción anterior. Si constantemente incluyes nuevo contenido, y tienes una buena arquitectura web para que Google acceda fácilmente a él, harás que Google recurra más a menudo a tus contenidos.
Aumentar la autoridad de tu sitio
Aumentar la autoridad de tu página web, vendrá dada por un aumento de las referencias externas hacia tu sitio (o de la calidad de ellas). Por lo tanto, es otra señal positiva más para Google de cara a que tenga una mayor recurrencia en el rastreo de tu web.
Conclusiones
Hay muchas maneras con las que un sitio web puede aprovechar al máximo el presupuesto de rastreo que se le ha asignado. Haciendo que sea fácil para un rastreador navegar por tu sitio web te aseguras de que las páginas más importantes se están viendo y, por lo tanto, es más probable que se posicionen en las SERPs mucho mejor.
Dicho esto, esperamos que el artículo te haya sido de utilidad. Si tienes cualquier tipo de duda, déjanos un comentario. ¡Estaremos encantados de poder ayudarte!
