John Mueller ha respondido una pregunta Twitter sobre crawl budget y ha dicho que para sitios muy grandes es más complicado que solo dividir la cantidad de URLs entre sub dominios y asignar un valor a cada uno. Veamos de que se trata esto, pero primero.
¿Qué significa crawl budget?
Presupuesto de rastreo(en español) es el nombre que se le da a la cantidad de URLs que puede rastrear Google (o cualquier otro buscador) mensualmente dentro de una página web. Si no habías escuchado este termino, no te preocupes. Por lo general los que deben preocuparse por este aspecto son sitios con varios miles de páginas,.En el documento oficial de Google no indican una cantidad exacta sobre el límite de rastreo que pueda alcanzar un sitio web, pero dice lo siguiente: si no hay demanda de indexación, habrá poca actividad de Googlebot. Los dos factores que juegan un papel importante en la determinación de la demanda de rastreo son:
Popularidad: las URL que son más populares en Internet tienden a rastrearse con mayor frecuencia para mantenerlas más frescas en nuestro índice.
Caducidad: nuestros sistemas intentan evitar que las URL se vuelvan obsoletas en el índice.
También agregan: Según nuestro análisis, tener muchas URL de bajo valor agregado puede afectar negativamente el rastreo e indexación de un sitio.
Entonces si prestamos atención a esto, la pregunta que le hicieron a John Mueller es muy válida desde el punto de vista sobre la calidad de URLs que está rastreando el buscador.
La pregunta en Twitter
Un usuario preguntó: 1- Dar un presupuesto de rastreo a un dominio – > divídalo según sus subdominios. 2- Dé un presupuesto de rastreo al dominio principal y subdominios de forma independiente. ¿Cuál es válido en el mundo del motor de búsqueda de Google?.La respuesta de John
Sin mayores detalles dijo esto: Ambos están demasiado simplificados. Arrastrarse a gran escala es mucho más complicado.¿Qué significa?
Bueno, si tomamos en cuenta los extractos anteriores del documento oficial, efectivamente debemos considerar más los factores de calidad que de cantidad para establecer nuestro presupuesto de rastreo.¿Cómo podemos establecer un presupuesto de rastreo?
Para lograr este cometido podemos hacer algo relativamente sencillo, apoyándonos en los datos de SC:Establece cuales son tus páginas con mayor CTR, y concéntrate en ellas, del mismo modo con los sub dominios
Establece cuales son tus páginas menos visitadas, esas que tienen alto número de impresiones pero con CTR muy bajo
Identifica cuales son las páginas que están muy abajo en los índices y que no tienen nada de CTR
Habiendo hecho esto, puedes actuar bloqueando el rastreo de esas páginas que nadie visita, a través del robots.txt o de una simple etiqueta nofollow. Así te aseguras que el buscador no gastara presupuesto de rastreo en páginas que no valen la pena.
Yo continuaré siguiendo fuentes oficiales para traerte la información convertida en consejos, mientras te invito a seguirme en la app de noticias para que seas notificado directo en tu móvil.
Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
Creado: