El Blog de Gian Top SEO Idea guardada 1 veces
La valoración media de 1 personas es: Excelente

La exclusión de Robots será un STANDART ¿Estás preparado?



Fuente: BlogTopSEO


  La exclusión de robots dentro del archivo Robots.txt será un standart. Así lo anunció Google en un tweet donde ha hecho público el artículo que explica; cómo después de 25 años se ha hecho imperativa la necesidad de aplicar la especificación del protocolo de exclusión de robots. ¡Vamos a ver de qué se trata!

¿Qué es la exclusión de Robots?

Este es un protocolo que se dicta por medio de un comando: User-agent:. En este caso, el comunicado de Google explica que este comando deberá ser implementado en todos los sitios como insignia de las buenas prácticas en línea.

¿Eso significa que debemos excluir todos los robots de búsqueda? Absolutamente no, esto quiere decir que debemos especificar los robots a los que deseamos brindarle acceso a nuestra web. Por ejemplo: si deseas que cualquier buscador entre y revise tu sitio; simplemente implanta este comando:

User-agent: *

Si deseas excluir un robot en especifico, como Bing por ejemplo:

User-agent: Bingbot

Disallow: /

Para qué sirve la exclusión de robots

La exclusión de robots en el archivo robots.txt fue implementada por primera vez en 1994 por Martijn Koster al ver la velocidad su sitio afectada por todos los bots que analizaban su web contemporaneamente. De ahí fue que se implementó el código para excluir uno o todos los motores de búsqueda.

Una recomendación es que dejes libre el acceso a todos los buscadores puesto que ya no son tan invasivos como antes.

¿Por qué se está implementando esto como standart oficial?

Porque los desarrolladores han venido interpretado este protocolo de manera muy personal y  diferente a lo largo de los años. Y desde su inicio, estos protocolos de robots no se ha actualizado para cubrir necesidades de desarrollo modernas.

Google afirma en su comunicado oficial: Queríamos ayudar a los propietarios y desarrolladores de sitios web a crear experiencias increíbles en Internet en lugar de preocuparnos por cómo controlar los rastreadores. Junto con el autor original del protocolo, los webmasters y otros motores de búsqueda, documentamos cómo se usa el REP en la web moderna y lo enviamos al IETF.

¿Cual es la finalidad de esta iniciativa?

Establecer un protocolo global con reglas estructuradas y establecidas indirectamente por los mismos usuarios en más de veinticuatro años desde el nacimiento del primer robots.txt. Google también asegura que estas reglas tiene como misión principal brindar más poder a los usuarios de decidir qué mostrar o no mostrar a los motores de búsqueda más detalladamente.

¿Eso cambia las reglas de tu archivo robots.txt?

Por ahora no, esta implementación está planeada para concebir todos los escenarios no tomados en cuenta en el pasado, adaptandolos para la web moderna. Así que puedes dejar tu archivo como está hasta que los nuevos comandos sean publicados y si no tienes uno asegúrate de incluirlo lo antes posible.

Cambios principales de esta estandarización

1. Cualquier protocolo de transferencia podrá utilizar robots.txt. Por ejemplo, ya no se limita a HTTP y también se puede usar para FTP o CoAP.

2. Permitirá establecer un tamaño máximo del archivo de 500 kibibytes (0.512 Megabyte) de conexión entre los robots y los sitios; esto para aliviar cargas innecesarias en los servidores y las páginas.

3. Máximo 24 horas de almacenamiento en caché, esto brinda la flexibilidad de actualizar el archivo robots.txt cuando se desee, y los buscadores no están sobrecargando los sitios con solicitudes de robots.txt.

4. La nueva especificación estipula que cuando un archivo robots.txt se vuelve inaccesible debido a fallas del servidor; las páginas desconocidas no se rastrean durante un período de tiempo razonablemente largo.

5. Definición mejorada de  la sintaxis de robots.txt. Esto es fundamental para que los desarrolladores analicen las líneas de código.

Conclusión

Este cambio, así como los otros anunciados por Google en este par de meses trae promesas de mejoras muy notables para toda la comunidad, tanto de desarrolladores, como apasionados. Ya sabes lo que se viene y puedes prepararte con tiempo.

Si te ha gustado este post ¡compartelo! alguien que conoces podría disfrutarlo también.

Fuente: este post proviene de BlogTopSEO donde puedes consultar el contenido original.
Fuente: este post proviene de El Blog de Gian Top SEO, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

amino claves comunidad ...

¿Qué es Robots.txt y para qué sirve? Yo robots Parte I

Muchas webs tienen un archivo llamado “robots.txt” este archivo ayuda a las webs a evitar que los buscadores indexen directorios o otro contenido que no tendríamos que ver. Robots.txt es un archivo de texto (no HTML) que se coloca en un sitio o página, para indicar a los robots de búsqueda qué páginas desea que no visiten. El archivo Robots.txt no es obligatorio para los motores de búsqueda, pero ...

blog top seo noti google #notigoogle ...

Robots.txt ¡SÚPER GUÍA Simplificada! de los NUEVOS Comandos

Esta mañana fueron publicados los nuevos comandos estándares del archivo robots.txt en un artículo oficial de Google webMasters. También tienen sus fundamentos en uno de los lenguajes padres de la programación: C++. Vamos a ver estas novedades y cómo aplicarlas para exprimirles todo el jugo. ¿Listo? Biblioteca de comandos Esta biblioteca ha sido modificada ligeramente y publicada en código abier ...

BLOGGER blogging indexabilidad ...

SEO: Cómo indexar con un blog de Blogger

El proceso de indexación con un blog de Blogger, para que las SERP´S de búsqueda te encuentren. no es nada complicado. Problemas para indexar recursos bloqueados con robots.txt en Blogger? Mira el siguiente video →↓ El asunto es darle las órdenes correctas a los robots para lograr la indexación requerida con la tecnología de Blospot sin producir que se indexen archivos basura o cosas que no son n ...

general blog

Robots de cocina en la repostería

No es una novedad el hecho de que los robots de cocina ya estén totalmente popularizados en los hogares. Lo que si es un poco más novedoso es que estos robots tengan funciones específicas dentro de la cocina. Por ejemplo, los clásicos Mycook y Thermomix si bien son robots multifunción, también son aliados ideales a la hora de realizar toda clase de pasteles y tartas dulces, ya que además de cocina ...

nasa robots exploradores ...

​Los nuevos Robots exploradores de la Nasa

Un grupo de investigadores de la Nasa junto con la Universidad de Nuevo México están creando un grupo de robots exploradores diseñados para realizar exploración y búsqueda de materiales en el espacio. Este regimiento de robots mineros tendrán herramientas para excavar, analizar y estudiar los materiales que se encuentren para ser capaces de identificar el elemento que buscan, un mineral determinad ...

Un error crítico ha sido detectado en el protocolo de Bitcoin y corregido rápidamente

La semana pasada, una persona anónima informó a los principales desarrolladores de Bitcoin Core que habia un defecto crítico en el protocolo de Bitcoin. Tras las noticias, el equipo de Bitcoin Core decidió mantener la información en secreto y aplicar un parche correctivo. De hecho, esta fallo ha estado presente durante más de un año, tras una actualización publicada en septiembre de 2017 sobre el ...

SEO TODO GOOGLE errores de rastreo ...

Solucionar errores de rastreo en mi blog en Blogger

Mi blog esta en Blogger Este post es continuación de Cómo solucionar errores de rastreo en blogs WordPress.com, por si has entrado aquí por error, la guía de acción es prácticamente diferente. La gran diferencia entre otras cosas entre Blogger y WordPress.com es la posibilidad de toquetear el html de la plantilla, modificar o personalizar el archivo robot, hacer redirecciones 301, cosa que nos fac ...

Linux

Cómo convertir un archivo XLS a CSV en la línea de comandos[Linux].

Convertir una hoja de Microsoft Excel (archivo XLS) a un archivo separado por comas (CSV) es relativamente fácil cuando se utiliza un producto de Office, pero podría ser una tarea tediosa para los programadores hacerlo en la línea de comandos. La situación puede llegar cuando usted tiene un archivo XLS y necesita llenar la base de datos después de formatear los datos. Convertir el XLS a CSV es la ...

Robots educativos para niños

Los mejores robots educativos por edades: 2, 3-4, 5-7, 8-11, 12-15 y más de 16 años

En el mercado actual (y más desde principios de enero de 2018) el mercado de los robots educativos por edades sufrió un ‘boom’. Esto al final es un problema para ti y para mí, los consumidores, ya que hay muchísima oferta y no hay quien se aclare con tantos robots educativos por ahí. No sabemos cuál es mejor, no sabemos cuál se adaptará de manera más eficaz a la edad de nuestros hijos, ...

general japon maraton robots

Se celebra en Japón la primera maratón de robots.

La empresa Vstone a organizado la primera maratón de robots en Japón en la que tendrán que recorrer 42 kilómetros en cuatro días. La carrera se desarrolla en un circuito de 100 metros en las instalaciones de un gimnasio en la ciudad de Osaka. La prueba consistirá en 423 vueltas al circuito con alguna única ayuda para los participantes roboticos, para cambiar las baterías, sustituir motores o coloc ...