comunidades

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos



Fuente: BlogTopSEO


  Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo?

Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abierto C++ para ayudar a los desarrolladores a crear herramientas que reflejen mejor el análisis y la coincidencia de robots.txt de Google.

Google ha incluído un pequeño binario en este proyecto que permite probar una URL única y un agente de usuario dentro de un archivo robots.txt. Además, usa como sistema de compilación oficial: Bazel. Este es compatible con la mayoría de las plataformas principales (Linux, Windows y MacOS).

 

Comandos importantes tener:

. user-agent (nombre del/los buscadores)

. disallow (deshabilitar seguimiento)

. allow (habilitar seguimiento)

. sitemap (URL del mapa del sitio)

En esta herramienta gratuita de Google puedes probar la funcionalidad de tu archivo robots.txt: Robots Testing Tool obtendrás un resultado así:

ejemplo prueba robots.txt


ejemplo prueba robots.txt

Comando abierto del archivo Robots.txt

Como dije antes, existen miles de comandos que se pueden utilizar, pero si no tienes los conocimientos en programación necesarios. Simplemente puedes hacer un archivo abierto para que los buscadores rastreen tu web y no te dejen por fuera. Yo he aplicado:

User-agent: *
Disallow: /js
sitemap: URL del mapa de tu sitio

Puedes copiar y pegar estos en tu archivo; estos significan: todos los motores de búsqueda tienen acceso a todos los archivos con excepción al JavaScript y pueden indexar todo el contenido; imágenes, categorías, entradas y páginas.

Si no quieres que se indexe un determinado contenido, como una página o una categoría simplemente puedes añadir una etiqueta noindex. Eso resolverá el problema.

Ubicación y nombre del archivo Este punto permanece intacto, se debe nombrar robots.txt con formato UTF-8 y debe ser escrito separados con líneas (nada nuevo). Lo que sí es nuevo es que en estas novedades se podrá aplicar al protocolo FTP, Google también ha especificado que no serán anunciados errores en el archivo. Esto quiere decir que Googlebot leerá e interpretará sólo las líneas con comandos válidos; ignorando todo lo demás. ¡Hay que estar pendiente en la redacción!

El archivo debe ser subido a la carpeta principal del sitio (public_html). Para los subdominios se debe aplicar el mismo principio; dentro de la carpeta principal del subdominio y colgar el archivo robots.txt ahí dentro.

Ejemplos de URL válida del archivo: https://ejemplo.com/robots.txt

En caso que no se cuente con certificado SSL: http://ejemplo.com/robots.txt

Se han anunciado otras formas URL válidas para subdominios, pero son avanzadas; te recomiendo que lo subas a la carpeta public_html, te ahorrarás muchos dolores de cabeza

Ejemplo de sintaxis avanzada:



ejemplo de sintaxis avanzada, fuente: Google dev.

Como puedes ver, si no tienes idea de programación se vuelve un jeroglífico, Así que !Mantenlo Simple!  

Conclusión Con estos conocimientos puedes tener un archivo robots.txt acorde con las nuevas exigencias; has implementado las buenas prácticas en línea, puedes probar si funciona y todos los buscadores podrán encontrar e indexar tu contenido.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.

Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
Creado:
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

Sobremesa Windows cmd ...

Todos los sistemas Windows incluyen una serie de comandos que permiten transmitir órdenes directamente al sistema operativo. Son los conocidos como comandos CMD, comandos de DOS o comandos MS-DOS. Se trata de simples instrucciones que se pueden usar de formas diferentes, la más conocida de ellas es introduciéndolos en la consola de comandos CMD (de hecho, “CDM” corresponde al nombre de ...

GUÍAS Programación Web Herramientas Técnicas SEO

Una de las primeras preguntas que todo el mundo se hace nada más tener publicada su página web o blog es la de cómo aparecer en Google. El error más grave que se puede cometer por parte de un webmaster es la de no preocuparse por aparecer en los principales buscadores de internet. Los buscadores cuentan con herramientas de todo tipo para rastrear la World Wide Web pero si confíamos en que sean ell ...

blog top seo noti google #notigoogle ...

La exclusión de robots dentro del archivo Robots.txt será un standart. Así lo anunció Google en un tweet donde ha hecho público el artículo que explica; cómo después de 25 años se ha hecho imperativa la necesidad de aplicar la especificación del protocolo de exclusión de robots. ¡Vamos a ver de qué se trata! ¿Qué es la exclusión de Robots? Este es un protocolo que se dicta por medio de un comando: ...

SEO TODO GOOGLE errores de rastreo ...

Mi blog esta en Blogger Este post es continuación de Cómo solucionar errores de rastreo en blogs WordPress.com, por si has entrado aquí por error, la guía de acción es prácticamente diferente. La gran diferencia entre otras cosas entre Blogger y WordPress.com es la posibilidad de toquetear el html de la plantilla, modificar o personalizar el archivo robot, hacer redirecciones 301, cosa que nos fac ...

Los comandos más importantes de GNU/Linux que debes conocer Informática La terminal de GNU/Linux es muy potente, pero sacarle todo el partido no es fácil, tenemos que conocer mucho comandos diferentes. En este artículo vamos a ver los comandos más importantes y habituales. Comandos esencialesA conitnuación, vamos a ver la lista de comandos más importantes para sobrevivir en la terminal de GNU/Lin ...

general seo

Los errores de rastreo en páginas web pueden detectarse y corregirse por medio de las herramientas para webmaster de Google. Es posible que a lo largo del período de vida de un sitio web, se produzcan diversas situaciones que impidan que éste pueda ser correctamente rastreado e indexado por el buscador. En esta guía vamos a aprender qué son los errores de rastreo que se producen en las páginas web ...

Linux

Este artículo forma parte de la serie Social Media from Command Line : Medios Sociales desde la Línea de Comando, Parte 1: Facebook y Twitter Medios sociales desde la línea de comandos, Parte 2: Google Medios sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube En la primera entrega de esta serie de artículos, le enseñamos los conceptos básicos para administrar su Cuentas de F ...

Android

El Fastboot, al igual que el ADB es una herramienta que nos permite comunicarnos con un dispositivo Android directamente desde el PC. Consta de una serie de comandos con los que podemos enviar ordenes al teléfono o tablet, y nos pueden servir tanto para rootear un terminal como para flashear un nuevo firmware o intentar repararlo de un brick. A diferencia del ADB, que podemos utilizarlo sin tener ...

todo seo

Si quieres aparecer en los primeros puestos de Google, los 2 factores claves para hacerlo son tener un contenido útil y de calidad, además de recibir enlaces de desde otras webs más importantes que la tuya. Pero para que el contenido y los enlaces tenga efecto, antes de nada tienes que optimizar tu web al 100%. Desde nuestra experiencia consideramos claves 19 aspectos para tener optimizada tu web ...

Posicionamiento SEO

Guía básica de SEO: Definiciones y conceptos Digamos que tienes una empresa y quieres darla a conocer al mundo a través de internet. Para poder lograr tu objetivo deberías tener unos conocimientos básicos sobre marketing online y SEO. En este punto, tienes dos caminos, hacerlo tú mismo o contratar a una agencia seo profesional. En ambos casos es importantísimo que tengas una comprensión básica al ...