El Blog de Gian Top SEO Idea guardada 3 veces
La valoración media de 3 personas es: Excelente

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos



Fuente: BlogTopSEO


  Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo?

Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abierto C++ para ayudar a los desarrolladores a crear herramientas que reflejen mejor el análisis y la coincidencia de robots.txt de Google.

Google ha incluído un pequeño binario en este proyecto que permite probar una URL única y un agente de usuario dentro de un archivo robots.txt. Además, usa como sistema de compilación oficial: Bazel. Este es compatible con la mayoría de las plataformas principales (Linux, Windows y MacOS).

 

Comandos importantes tener:

. user-agent (nombre del/los buscadores)

. disallow (deshabilitar seguimiento)

. allow (habilitar seguimiento)

. sitemap (URL del mapa del sitio)

En esta herramienta gratuita de Google puedes probar la funcionalidad de tu archivo robots.txt: Robots Testing Tool obtendrás un resultado así:

ejemplo prueba robots.txt


ejemplo prueba robots.txt

Comando abierto del archivo Robots.txt

Como dije antes, existen miles de comandos que se pueden utilizar, pero si no tienes los conocimientos en programación necesarios. Simplemente puedes hacer un archivo abierto para que los buscadores rastreen tu web y no te dejen por fuera. Yo he aplicado:

User-agent: *
Disallow: /js
sitemap: URL del mapa de tu sitio

Puedes copiar y pegar estos en tu archivo; estos significan: todos los motores de búsqueda tienen acceso a todos los archivos con excepción al JavaScript y pueden indexar todo el contenido; imágenes, categorías, entradas y páginas.

Si no quieres que se indexe un determinado contenido, como una página o una categoría simplemente puedes añadir una etiqueta noindex. Eso resolverá el problema.

Ubicación y nombre del archivo Este punto permanece intacto, se debe nombrar robots.txt con formato UTF-8 y debe ser escrito separados con líneas (nada nuevo). Lo que sí es nuevo es que en estas novedades se podrá aplicar al protocolo FTP, Google también ha especificado que no serán anunciados errores en el archivo. Esto quiere decir que Googlebot leerá e interpretará sólo las líneas con comandos válidos; ignorando todo lo demás. ¡Hay que estar pendiente en la redacción!

El archivo debe ser subido a la carpeta principal del sitio (public_html). Para los subdominios se debe aplicar el mismo principio; dentro de la carpeta principal del subdominio y colgar el archivo robots.txt ahí dentro.

Ejemplos de URL válida del archivo: https://ejemplo.com/robots.txt

En caso que no se cuente con certificado SSL: http://ejemplo.com/robots.txt

Se han anunciado otras formas URL válidas para subdominios, pero son avanzadas; te recomiendo que lo subas a la carpeta public_html, te ahorrarás muchos dolores de cabeza

Ejemplo de sintaxis avanzada:



ejemplo de sintaxis avanzada, fuente: Google dev.

Como puedes ver, si no tienes idea de programación se vuelve un jeroglífico, Así que !Mantenlo Simple!  

Conclusión Con estos conocimientos puedes tener un archivo robots.txt acorde con las nuevas exigencias; has implementado las buenas prácticas en línea, puedes probar si funciona y todos los buscadores podrán encontrar e indexar tu contenido.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.

Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

#SEO #BlogTopSEO #NotiGoogle ...

URLs indexadas y bloqueo en Robots.txt ¡Confirmación de Google!

Esta mañana el Googlero John Mueller ha respondido una pregunta sobre las URLs indexadas y el bloqueo de las mismas en el archivo robots.txt. Vamos a ver de que se trata esto y por supuesto, con un par de consejos al respecto. La pregunta sobre URLs indexadas y bloqueo en Robots.txt El usuario de Twitter RomainP ha preguntado en este tweet: Hola @JohnMu. Veo cada vez más sitios web que tienen pági ...

Sobremesa Windows cmd ...

Comandos CMD: Listado de todos los comandos MS-DOS

Todos los sistemas Windows incluyen una serie de comandos que permiten transmitir órdenes directamente al sistema operativo. Son los conocidos como comandos CMD, comandos de DOS o comandos MS-DOS. Se trata de simples instrucciones que se pueden usar de formas diferentes, la más conocida de ellas es introduciéndolos en la consola de comandos CMD (de hecho, “CDM” corresponde al nombre de ...

blog top seo noti google #notigoogle ...

La exclusión de Robots será un STANDART ¿Estás preparado?

La exclusión de robots dentro del archivo Robots.txt será un standart. Así lo anunció Google en un tweet donde ha hecho público el artículo que explica; cómo después de 25 años se ha hecho imperativa la necesidad de aplicar la especificación del protocolo de exclusión de robots. ¡Vamos a ver de qué se trata! ¿Qué es la exclusión de Robots? Este es un protocolo que se dicta por medio de un comando: ...

SEO TODO GOOGLE errores de rastreo ...

Solucionar errores de rastreo en mi blog en Blogger

Mi blog esta en Blogger Este post es continuación de Cómo solucionar errores de rastreo en blogs WordPress.com, por si has entrado aquí por error, la guía de acción es prácticamente diferente. La gran diferencia entre otras cosas entre Blogger y WordPress.com es la posibilidad de toquetear el html de la plantilla, modificar o personalizar el archivo robot, hacer redirecciones 301, cosa que nos fac ...

Linux

Cómo convertir un archivo XLS a CSV en la línea de comandos[Linux].

Convertir una hoja de Microsoft Excel (archivo XLS) a un archivo separado por comas (CSV) es relativamente fácil cuando se utiliza un producto de Office, pero podría ser una tarea tediosa para los programadores hacerlo en la línea de comandos. La situación puede llegar cuando usted tiene un archivo XLS y necesita llenar la base de datos después de formatear los datos. Convertir el XLS a CSV es la ...

Linux

En profundidad, vea los comandos de compresión y archivo de Linux

La necesidad de empaquetar y comprimir archivos juntos en un solo archivo ha existido desde que los ordenadores obtuvieron los primeros discos duros, y esa necesidad se ha mantenido hasta el día de hoy. La mayoría de los usuarios de ordenadores están familiarizados con los archivos.zip, pero los archivos son mucho más que el humilde.zip. En este tutorial, le mostraremos los diferentes comandos de ...

Linux

Pem: Gestione sus gastos personales desde la línea de comandos

Si bien la administración de gastos es una tarea crítica, tanto para las empresas como para los individuos, generalmente requiere el uso de un software basado en GUI. Si eres un geek de línea de comandos que está buscando una alternativa basada en CLI, deberías probar pem . En este artículo, discutiremos la herramienta de línea de comandos, junto con las características que proporciona. Nota : tod ...

Linux

Redes sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube

Este artículo forma parte de la serie Social Media from Command Line : Medios Sociales desde la Línea de Comando, Parte 1: Facebook y Twitter Medios sociales desde la línea de comandos, Parte 2: Google Medios sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube En la primera entrega de esta serie de artículos, le enseñamos los conceptos básicos para administrar su Cuentas de F ...

Linux

Recolectar: Herramienta de búsqueda avanzada para Linux

Buscar en sus archivos puede ser una tarea fácil o difícil, dependiendo de cómo organice sus archivos y documentos. Si usted está constantemente buscando alto y bajo para ese archivo en particular y su administrador de archivos no le está ayudando con su terrible función de búsqueda, probablemente necesite una herramienta de búsqueda más avanzada. Recoll es una herramienta de búsqueda de texto par ...

BLOGGER blogging indexabilidad ...

SEO: Cómo indexar con un blog de Blogger

El proceso de indexación con un blog de Blogger, para que las SERP´S de búsqueda te encuentren. no es nada complicado. Problemas para indexar recursos bloqueados con robots.txt en Blogger? Mira el siguiente video →↓ El asunto es darle las órdenes correctas a los robots para lograr la indexación requerida con la tecnología de Blospot sin producir que se indexen archivos basura o cosas que no son n ...