Crawlear la web actual
En este paso debemos crawlear la web en bruto para sacar la máxima información posible, por ejemplo el número de páginas HTML, imágenes, CSS, JS, etc.
Configuration > Spider > Basic
Como en todos los crawleos, primero debemos pensar qué nos interesa rastrear. Si, por ejemplo, no existen páginas en flash (Check SWF), si no hay subdominios (Crawl All Subdomains), no hay páginas otros idiomas (Extract/Crawl hreflang) o no existen páginas en AMP (Extract/Crawl AMP Links), deberemos desmarcar ésas casillas:
Si estamos usando un CDN para servir imágenes o vídeos, desde la versión 11 de Screaming Frog, podemos incluirlos para que se analicen como URLs internas.
Configuration > Spider > Limits / Rendering
En la parte de Limits, por lo general, la configuración por defecto servirá para crawlear casi cualquier web. En la pestaña de Rendering, debemos elegir el tipo de crawleo en función de cómo esté hecha la web.
Seleccionando “Text Only” podremos analizar la mayoría de las webs, pero si la web está hecha en JavaScript (o queremos ver cómo se renderiza), será esta la opción que elijamos.
Configuration > Spider > Advanced
En este listado de opciones, es importante marcar “Always Follow Redirects” para detectar enlaces internos que actualmente redirigen y evitar aún más saltos después de migrar.
También es interesante marcar la casilla “Always Follow Canonicals”, ya que al terminar el crawleo, podremos ver si existen loops de canonical-redirección en el informe “Redirect & Canonical Chains”.
Y, como queremos un análisis en bruto, tenemos que dejar sin marcar las casillas Respect noindex, Respect Canonical y Respect Next/Prev:
Es importante que guardemos el crawleo para poder consultarlo más adelante, así como para exportar los documentos necesarios, como por ejemplo, “internall all” que usaremos en el siguiente paso.
Configuration > Spider > Preferences
En este caso, la configuración por defecto nos vale perfectamente para ver el estado de las metaetiquetas en cuanto a su longitud.
Comprobar el entorno pre
Lo normal es que los entornos de preproducción estén protegidos con usuario y contraseña para que los motores de búsqueda no puedan entrar. Para ello, Screaming tiene una opción en la que podemos incluir estos accesos y poder crawlear la web.
Una vez introducida la URL del pre en la barra superior de Screaming, entramos en la pestaña Configuration > Authentication para elegir la opción “Forms Based”. Haciendo clic en “Add”, nos llevará a un navegador interno donde deberemos añadir el usuario y la contraseña:
El resto de la configuración tiene que ser la misma que la usada en la web actual para poder hacer el mismo análisis del status de las URLs, metaetiquetas, etc.
Para asegurarnos de que las redirecciones se están llevando a cabo de manera correcta, podemos abrir el archivo de Excel “internal all” que nos hemos descargado en el paso anterior y sustituir el dominio de la web por el del pre. Una vez hecho esto, subimos las URLs en “modo lista” y vemos si está todo en orden.
En este paso, es necesario marcar la opción “Always Follow Redirects” para que siga las URLs hasta la final y comprobar si se dan en un solo salto.
Comprobar la nueva web
Cuando la nueva web ya se ha lanzado, volvemos a crawlearla en bruto para obtener la misma información con la que hemos contado desde el principio. Aquí podemos cruzar los datos de la web inicial con los del pre y con los actuales, para confirmar que todo ha salido según lo previsto, por ejemplo:
Las URLs redirigen en un solo salto
Las páginas que deben llevar noindex, contienen la etiqueta
Todas las versiones de la web redirigen a la canónica
Las metaetiquetas están optimizadas
Etc.
Otra comprobación que debemos hacer, es emular el rastreo que haría GoogleBot de la web por si se nos ha escapado algo durante los primeros análisis. Para ello, sólo hay que cambiar el User-Agent dentro de la configuración de Screaming Frog.
Es recomendable hacer 2 crawleos, con el User Agent mobile y el de desktop:
Con estos consejos básicos para configurar la rana ante una migración, ya podremos sacar bastante información y si queréis saber más sobre migraciones, podéis consultar estos 11 tips para una migración web sin sustos.
Fuente: este post proviene de Tecnicas SEO 2019, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
Creado: