El Blog de Gian Top SEO Idea guardada 3 veces
La valoración media de 3 personas es: Excelente

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos



Fuente: BlogTopSEO


  Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo?

Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abierto C++ para ayudar a los desarrolladores a crear herramientas que reflejen mejor el análisis y la coincidencia de robots.txt de Google.

Google ha incluído un pequeño binario en este proyecto que permite probar una URL única y un agente de usuario dentro de un archivo robots.txt. Además, usa como sistema de compilación oficial: Bazel. Este es compatible con la mayoría de las plataformas principales (Linux, Windows y MacOS).

 

Comandos importantes tener:

. user-agent (nombre del/los buscadores)

. disallow (deshabilitar seguimiento)

. allow (habilitar seguimiento)

. sitemap (URL del mapa del sitio)

En esta herramienta gratuita de Google puedes probar la funcionalidad de tu archivo robots.txt: Robots Testing Tool obtendrás un resultado así:

ejemplo prueba robots.txt


ejemplo prueba robots.txt

Comando abierto del archivo Robots.txt

Como dije antes, existen miles de comandos que se pueden utilizar, pero si no tienes los conocimientos en programación necesarios. Simplemente puedes hacer un archivo abierto para que los buscadores rastreen tu web y no te dejen por fuera. Yo he aplicado:

User-agent: *
Disallow: /js
sitemap: URL del mapa de tu sitio

Puedes copiar y pegar estos en tu archivo; estos significan: todos los motores de búsqueda tienen acceso a todos los archivos con excepción al JavaScript y pueden indexar todo el contenido; imágenes, categorías, entradas y páginas.

Si no quieres que se indexe un determinado contenido, como una página o una categoría simplemente puedes añadir una etiqueta noindex. Eso resolverá el problema.

Ubicación y nombre del archivo Este punto permanece intacto, se debe nombrar robots.txt con formato UTF-8 y debe ser escrito separados con líneas (nada nuevo). Lo que sí es nuevo es que en estas novedades se podrá aplicar al protocolo FTP, Google también ha especificado que no serán anunciados errores en el archivo. Esto quiere decir que Googlebot leerá e interpretará sólo las líneas con comandos válidos; ignorando todo lo demás. ¡Hay que estar pendiente en la redacción!

El archivo debe ser subido a la carpeta principal del sitio (public_html). Para los subdominios se debe aplicar el mismo principio; dentro de la carpeta principal del subdominio y colgar el archivo robots.txt ahí dentro.

Ejemplos de URL válida del archivo: https://ejemplo.com/robots.txt

En caso que no se cuente con certificado SSL: http://ejemplo.com/robots.txt

Se han anunciado otras formas URL válidas para subdominios, pero son avanzadas; te recomiendo que lo subas a la carpeta public_html, te ahorrarás muchos dolores de cabeza

Ejemplo de sintaxis avanzada:



ejemplo de sintaxis avanzada, fuente: Google dev.

Como puedes ver, si no tienes idea de programación se vuelve un jeroglífico, Así que !Mantenlo Simple!  

Conclusión Con estos conocimientos puedes tener un archivo robots.txt acorde con las nuevas exigencias; has implementado las buenas prácticas en línea, puedes probar si funciona y todos los buscadores podrán encontrar e indexar tu contenido.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.

Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

Sobremesa Windows cmd ...

Comandos CMD: Listado de todos los comandos MS-DOS

Todos los sistemas Windows incluyen una serie de comandos que permiten transmitir órdenes directamente al sistema operativo. Son los conocidos como comandos CMD, comandos de DOS o comandos MS-DOS. Se trata de simples instrucciones que se pueden usar de formas diferentes, la más conocida de ellas es introduciéndolos en la consola de comandos CMD (de hecho, “CDM” corresponde al nombre de ...

blog top seo noti google #notigoogle ...

La exclusión de Robots será un STANDART ¿Estás preparado?

La exclusión de robots dentro del archivo Robots.txt será un standart. Así lo anunció Google en un tweet donde ha hecho público el artículo que explica; cómo después de 25 años se ha hecho imperativa la necesidad de aplicar la especificación del protocolo de exclusión de robots. ¡Vamos a ver de qué se trata! ¿Qué es la exclusión de Robots? Este es un protocolo que se dicta por medio de un comando: ...

SEO TODO GOOGLE errores de rastreo ...

Solucionar errores de rastreo en mi blog en Blogger

Mi blog esta en Blogger Este post es continuación de Cómo solucionar errores de rastreo en blogs WordPress.com, por si has entrado aquí por error, la guía de acción es prácticamente diferente. La gran diferencia entre otras cosas entre Blogger y WordPress.com es la posibilidad de toquetear el html de la plantilla, modificar o personalizar el archivo robot, hacer redirecciones 301, cosa que nos fac ...

general seo

Cómo detectar y solucionar los errores de rastreo de una web en Google

Los errores de rastreo en páginas web pueden detectarse y corregirse por medio de las herramientas para webmaster de Google. Es posible que a lo largo del período de vida de un sitio web, se produzcan diversas situaciones que impidan que éste pueda ser correctamente rastreado e indexado por el buscador. En esta guía vamos a aprender qué son los errores de rastreo que se producen en las páginas web ...

Linux

Redes sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube

Este artículo forma parte de la serie Social Media from Command Line : Medios Sociales desde la Línea de Comando, Parte 1: Facebook y Twitter Medios sociales desde la línea de comandos, Parte 2: Google Medios sociales desde la línea de comandos, Parte 3: Tumblr, Flickr y YouTube En la primera entrega de esta serie de artículos, le enseñamos los conceptos básicos para administrar su Cuentas de F ...

todo seo

Auditoría SEO – Los 19 aspectos que deberás revisar para optimizar tu web al 100%

Si quieres aparecer en los primeros puestos de Google, los 2 factores claves para hacerlo son tener un contenido útil y de calidad, además de recibir enlaces de desde otras webs más importantes que la tuya. Pero para que el contenido y los enlaces tenga efecto, antes de nada tienes que optimizar tu web al 100%. Desde nuestra experiencia consideramos claves 19 aspectos para tener optimizada tu web ...

BLOGGER blogging indexabilidad ...

SEO: Cómo indexar con un blog de Blogger

El proceso de indexación con un blog de Blogger, para que las SERP´S de búsqueda te encuentren. no es nada complicado. Problemas para indexar recursos bloqueados con robots.txt en Blogger? Mira el siguiente video →↓ El asunto es darle las órdenes correctas a los robots para lograr la indexación requerida con la tecnología de Blospot sin producir que se indexen archivos basura o cosas que no son n ...

amino Android claves ...

Comandos de Termux

Comandos de Termux PKG Este comando sirve para administrar los paquetes de termux, se debe usar este comando acompañado de una acción “pkg ” files Muestra los archivos de los paquetes instalados. install Instala el paquete solicitado dentro de los repositorios de termux. list-all Muestra el listado de paquetes y dependencias disponibles en los repositorios instalados. list-installed Muestra la l ...

Aplicaciones Android

Google Maps para Android ya tiene comandos de voz nuevos

Google Maps para Android es la aplicación que parece que más se actualiza o tiene intención de actualizarse en las últimas semanas. Si ayer ya hablamos de novedades que se están preparando dentro del servicio de mapas de Google, ahora tenemos que hablar de los nuevos comandos de voz que ya están llegando a muchos usuarios de esta aplicación. Ahora será mucho más fácil usar el servicio sin tener qu ...

Posicionamiento SEO

Guía básica de SEO - Definiciones de términos y conceptos importantes

Guía básica de SEO: Definiciones y conceptos Digamos que tienes una empresa y quieres darla a conocer al mundo a través de internet. Para poder lograr tu objetivo deberías tener unos conocimientos básicos sobre marketing online y SEO. En este punto, tienes dos caminos, hacerlo tú mismo o contratar a una agencia seo profesional. En ambos casos es importantísimo que tengas una comprensión básica al ...