comunidades

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos



Fuente: BlogTopSEO


  Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo?

Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abierto C++ para ayudar a los desarrolladores a crear herramientas que reflejen mejor el análisis y la coincidencia de robots.txt de Google.

Google ha incluído un pequeño binario en este proyecto que permite probar una URL única y un agente de usuario dentro de un archivo robots.txt. Además, usa como sistema de compilación oficial: Bazel. Este es compatible con la mayoría de las plataformas principales (Linux, Windows y MacOS).

 

Comandos importantes tener:

. user-agent (nombre del/los buscadores)

. disallow (deshabilitar seguimiento)

. allow (habilitar seguimiento)

. sitemap (URL del mapa del sitio)

En esta herramienta gratuita de Google puedes probar la funcionalidad de tu archivo robots.txt: Robots Testing Tool obtendrás un resultado así:

ejemplo prueba robots.txt


ejemplo prueba robots.txt

Comando abierto del archivo Robots.txt

Como dije antes, existen miles de comandos que se pueden utilizar, pero si no tienes los conocimientos en programación necesarios. Simplemente puedes hacer un archivo abierto para que los buscadores rastreen tu web y no te dejen por fuera. Yo he aplicado:

User-agent: *
Disallow: /js
sitemap: URL del mapa de tu sitio

Puedes copiar y pegar estos en tu archivo; estos significan: todos los motores de búsqueda tienen acceso a todos los archivos con excepción al JavaScript y pueden indexar todo el contenido; imágenes, categorías, entradas y páginas.

Si no quieres que se indexe un determinado contenido, como una página o una categoría simplemente puedes añadir una etiqueta noindex. Eso resolverá el problema.

Ubicación y nombre del archivo Este punto permanece intacto, se debe nombrar robots.txt con formato UTF-8 y debe ser escrito separados con líneas (nada nuevo). Lo que sí es nuevo es que en estas novedades se podrá aplicar al protocolo FTP, Google también ha especificado que no serán anunciados errores en el archivo. Esto quiere decir que Googlebot leerá e interpretará sólo las líneas con comandos válidos; ignorando todo lo demás. ¡Hay que estar pendiente en la redacción!

El archivo debe ser subido a la carpeta principal del sitio (public_html). Para los subdominios se debe aplicar el mismo principio; dentro de la carpeta principal del subdominio y colgar el archivo robots.txt ahí dentro.

Ejemplos de URL válida del archivo: https://ejemplo.com/robots.txt

En caso que no se cuente con certificado SSL: http://ejemplo.com/robots.txt

Se han anunciado otras formas URL válidas para subdominios, pero son avanzadas; te recomiendo que lo subas a la carpeta public_html, te ahorrarás muchos dolores de cabeza

Ejemplo de sintaxis avanzada:



ejemplo de sintaxis avanzada, fuente: Google dev.

Como puedes ver, si no tienes idea de programación se vuelve un jeroglífico, Así que !Mantenlo Simple!  

Conclusión Con estos conocimientos puedes tener un archivo robots.txt acorde con las nuevas exigencias; has implementado las buenas prácticas en línea, puedes probar si funciona y todos los buscadores podrán encontrar e indexar tu contenido.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.

Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

Sobremesa Windows cmd ...

Comandos CMD: Listado de todos los comandos MS-DOS

Todos los sistemas Windows incluyen una serie de comandos que permiten transmitir órdenes directamente al sistema operativo. Son los conocidos como comandos CMD, comandos de DOS o comandos MS-DOS. Se trata de simples instrucciones que se pueden usar de formas diferentes, la más conocida de ellas es introduciéndolos en la consola de comandos CMD (de hecho, “CDM” corresponde al nombre de ...

blog top seo noti google #notigoogle ...

La exclusión de Robots será un STANDART ¿Estás preparado?

La exclusión de robots dentro del archivo Robots.txt será un standart. Así lo anunció Google en un tweet donde ha hecho público el artículo que explica; cómo después de 25 años se ha hecho imperativa la necesidad de aplicar la especificación del protocolo de exclusión de robots. ¡Vamos a ver de qué se trata! ¿Qué es la exclusión de Robots? Este es un protocolo que se dicta por medio de un comando: ...

SEO TODO GOOGLE errores de rastreo ...

Solucionar errores de rastreo en mi blog en Blogger

Mi blog esta en Blogger Este post es continuación de Cómo solucionar errores de rastreo en blogs WordPress.com, por si has entrado aquí por error, la guía de acción es prácticamente diferente. La gran diferencia entre otras cosas entre Blogger y WordPress.com es la posibilidad de toquetear el html de la plantilla, modificar o personalizar el archivo robot, hacer redirecciones 301, cosa que nos fac ...

Los comandos más importantes de GNU/Linux que debes conocer

Los comandos más importantes de GNU/Linux que debes conocer Informática La terminal de GNU/Linux es muy potente, pero sacarle todo el partido no es fácil, tenemos que conocer mucho comandos diferentes. En este artículo vamos a ver los comandos más importantes y habituales. Comandos esencialesA conitnuación, vamos a ver la lista de comandos más importantes para sobrevivir en la terminal de GNU/Lin ...

general seo

Cómo detectar y solucionar los errores de rastreo de una web en Google

Los errores de rastreo en páginas web pueden detectarse y corregirse por medio de las herramientas para webmaster de Google. Es posible que a lo largo del período de vida de un sitio web, se produzcan diversas situaciones que impidan que éste pueda ser correctamente rastreado e indexado por el buscador. En esta guía vamos a aprender qué son los errores de rastreo que se producen en las páginas web ...

Linux

Redes sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube

Este artículo forma parte de la serie Social Media from Command Line : Medios Sociales desde la Línea de Comando, Parte 1: Facebook y Twitter Medios sociales desde la línea de comandos, Parte 2: Google Medios sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube En la primera entrega de esta serie de artículos, le enseñamos los conceptos básicos para administrar su Cuentas de F ...

todo seo

Auditoría SEO – Los 19 aspectos que deberás revisar para optimizar tu web al 100%

Si quieres aparecer en los primeros puestos de Google, los 2 factores claves para hacerlo son tener un contenido útil y de calidad, además de recibir enlaces de desde otras webs más importantes que la tuya. Pero para que el contenido y los enlaces tenga efecto, antes de nada tienes que optimizar tu web al 100%. Desde nuestra experiencia consideramos claves 19 aspectos para tener optimizada tu web ...

Android

Fastboot en Android: todos los comandos y guía de uso práctico

El Fastboot, al igual que el ADB es una herramienta que nos permite comunicarnos con un dispositivo Android directamente desde el PC. Consta de una serie de comandos con los que podemos enviar ordenes al teléfono o tablet, y nos pueden servir tanto para rootear un terminal como para flashear un nuevo firmware o intentar repararlo de un brick. A diferencia del ADB, que podemos utilizarlo sin tener ...

BLOGGER blogging indexabilidad ...

SEO: Cómo indexar con un blog de Blogger

El proceso de indexación con un blog de Blogger, para que las SERP´S de búsqueda te encuentren. no es nada complicado. Problemas para indexar recursos bloqueados con robots.txt en Blogger? Mira el siguiente video →↓ El asunto es darle las órdenes correctas a los robots para lograr la indexación requerida con la tecnología de Blospot sin producir que se indexen archivos basura o cosas que no son n ...

Posicionamiento SEO

Guía básica de SEO - Definiciones de términos y conceptos importantes

Guía básica de SEO: Definiciones y conceptos Digamos que tienes una empresa y quieres darla a conocer al mundo a través de internet. Para poder lograr tu objetivo deberías tener unos conocimientos básicos sobre marketing online y SEO. En este punto, tienes dos caminos, hacerlo tú mismo o contratar a una agencia seo profesional. En ambos casos es importantísimo que tengas una comprensión básica al ...