El Blog de Gian Top SEO Idea guardada 3 veces
La valoración media de 3 personas es: Excelente

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos



Fuente: BlogTopSEO


  Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo?

Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abierto C++ para ayudar a los desarrolladores a crear herramientas que reflejen mejor el análisis y la coincidencia de robots.txt de Google.

Google ha incluído un pequeño binario en este proyecto que permite probar una URL única y un agente de usuario dentro de un archivo robots.txt. Además, usa como sistema de compilación oficial: Bazel. Este es compatible con la mayoría de las plataformas principales (Linux, Windows y MacOS).

 

Comandos importantes tener:

. user-agent (nombre del/los buscadores)

. disallow (deshabilitar seguimiento)

. allow (habilitar seguimiento)

. sitemap (URL del mapa del sitio)

En esta herramienta gratuita de Google puedes probar la funcionalidad de tu archivo robots.txt: Robots Testing Tool obtendrás un resultado así:

ejemplo prueba robots.txt


ejemplo prueba robots.txt

Comando abierto del archivo Robots.txt

Como dije antes, existen miles de comandos que se pueden utilizar, pero si no tienes los conocimientos en programación necesarios. Simplemente puedes hacer un archivo abierto para que los buscadores rastreen tu web y no te dejen por fuera. Yo he aplicado:

User-agent: *
Disallow: /js
sitemap: URL del mapa de tu sitio

Puedes copiar y pegar estos en tu archivo; estos significan: todos los motores de búsqueda tienen acceso a todos los archivos con excepción al JavaScript y pueden indexar todo el contenido; imágenes, categorías, entradas y páginas.

Si no quieres que se indexe un determinado contenido, como una página o una categoría simplemente puedes añadir una etiqueta noindex. Eso resolverá el problema.

Ubicación y nombre del archivo Este punto permanece intacto, se debe nombrar robots.txt con formato UTF-8 y debe ser escrito separados con líneas (nada nuevo). Lo que sí es nuevo es que en estas novedades se podrá aplicar al protocolo FTP, Google también ha especificado que no serán anunciados errores en el archivo. Esto quiere decir que Googlebot leerá e interpretará sólo las líneas con comandos válidos; ignorando todo lo demás. ¡Hay que estar pendiente en la redacción!

El archivo debe ser subido a la carpeta principal del sitio (public_html). Para los subdominios se debe aplicar el mismo principio; dentro de la carpeta principal del subdominio y colgar el archivo robots.txt ahí dentro.

Ejemplos de URL válida del archivo: https://ejemplo.com/robots.txt

En caso que no se cuente con certificado SSL: http://ejemplo.com/robots.txt

Se han anunciado otras formas URL válidas para subdominios, pero son avanzadas; te recomiendo que lo subas a la carpeta public_html, te ahorrarás muchos dolores de cabeza

Ejemplo de sintaxis avanzada:



ejemplo de sintaxis avanzada, fuente: Google dev.

Como puedes ver, si no tienes idea de programación se vuelve un jeroglífico, Así que !Mantenlo Simple!  

Conclusión Con estos conocimientos puedes tener un archivo robots.txt acorde con las nuevas exigencias; has implementado las buenas prácticas en línea, puedes probar si funciona y todos los buscadores podrán encontrar e indexar tu contenido.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.

Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

Sobremesa Windows cmd ...

Comandos CMD: Listado de todos los comandos MS-DOS

Todos los sistemas Windows incluyen una serie de comandos que permiten transmitir órdenes directamente al sistema operativo. Son los conocidos como comandos CMD, comandos de DOS o comandos MS-DOS. Se trata de simples instrucciones que se pueden usar de formas diferentes, la más conocida de ellas es introduciéndolos en la consola de comandos CMD (de hecho, “CDM” corresponde al nombre de ...

Linux

En profundidad, vea los comandos de compresión y archivo de Linux

La necesidad de empaquetar y comprimir archivos juntos en un solo archivo ha existido desde que los ordenadores obtuvieron los primeros discos duros, y esa necesidad se ha mantenido hasta el día de hoy. La mayoría de los usuarios de ordenadores están familiarizados con los archivos.zip, pero los archivos son mucho más que el humilde.zip. En este tutorial, le mostraremos los diferentes comandos de ...

Android

¡OK Google! Los 100 mejores comandos de voz del Asistente de Google

El Asistente de Google nos permite nos permite comunicarnos con nuestro teléfono mediante comandos de voz. Basta con decir “OK, Google” seguido de la orden o acción que queremos realizar para que el asistente de voz se ponga manos a la obra. Hoy, revisamos algunos de los comandos más útiles. Hay que recordar que aunque el asistente de comandos de voz está presente principalmente en Android, tambié ...

Linux

Cómo convertir un archivo XLS a CSV en la línea de comandos[Linux].

Convertir una hoja de Microsoft Excel (archivo XLS) a un archivo separado por comas (CSV) es relativamente fácil cuando se utiliza un producto de Office, pero podría ser una tarea tediosa para los programadores hacerlo en la línea de comandos. La situación puede llegar cuando usted tiene un archivo XLS y necesita llenar la base de datos después de formatear los datos. Convertir el XLS a CSV es la ...

Linux

Pem: Gestione sus gastos personales desde la línea de comandos

Si bien la administración de gastos es una tarea crítica, tanto para las empresas como para los individuos, generalmente requiere el uso de un software basado en GUI. Si eres un geek de línea de comandos que está buscando una alternativa basada en CLI, deberías probar pem . En este artículo, discutiremos la herramienta de línea de comandos, junto con las características que proporciona. Nota : tod ...

Android

Fastboot en Android: todos los comandos y guía de uso práctico

El Fastboot, al igual que el ADB es una herramienta que nos permite comunicarnos con un dispositivo Android directamente desde el PC. Consta de una serie de comandos con los que podemos enviar ordenes al teléfono o tablet, y nos pueden servir tanto para rootear un terminal como para flashear un nuevo firmware o intentar repararlo de un brick. A diferencia del ADB, que podemos utilizarlo sin tener ...

Linux

Hoja de trucos de la línea de comandos de Linux + Descargar

La gente siempre tiene la impresión de que GNU/Linux es difícil de usar. La mayoría de la gente sigue pensando que GNU/Linux es igual que DOS, donde tienes que navegar escribiendo comandos. Lo bueno es que la mayoría de las distribuciones hoy en día vienen con una interfaz y aplicaciones muy bonitas, y no es necesario entender ninguna línea de comandos para usar Linux. Por otro lado, tener algún c ...

Linux

3 maneras fáciles de enviar correos electrónicos desde la línea de comandos en Linux

Mientras trabaja con la línea de comandos, hay ocasiones en las que puede enviar manualmente un correo electrónico para comunicar información de un solo renglón, por ejemplo, un comando complejo o una nota importante para usted o para un amigo. Normalmente, esto requiere que abra un navegador web, inicie sesión en su cuenta de correo electrónico, enmarque un mensaje de correo electrónico que conte ...

Linux

Olvídese de los clientes de correo, envíe correo electrónico desde la línea de comandos[Linux].

Enviar un correo electrónico es algo que a menudo no tienes que pensar dos veces. Simplemente encienda su cliente de correo electrónico, ya sea basado en la web o en el escritorio, escriba un mensaje, introduzca la dirección de correo electrónico del destinatario y haga clic en «Enviar». ¿Qué sucede si es necesario que envíe correo electrónico desde la línea de comandos, por ejemplo, par ...

Linux

Cambiar fácilmente el tema de salpicadura sin ir a la línea de comandos[Ubuntu]

El tema de plymouth fue introducido en Ubuntu Lucid para proporcionar una mejor solución temática para el tema de splash. Con plymouth, se puede usar una imagen de alta resolución como fondo y también hacer que muestre animación. Lo único que desanimará a muchos novatos es que el tema sólo se puede cambiar usando la línea de comandos. Esto es hasta que Zorin Splash Screen Manager aparezca. Zorin S ...