Configurar robots.txt abierto o blanco da igual: Google en Reddit

El googlero John Mueller ha confirmado en este comentario de Reddit; configurar el archivo robots.txt abierto (permitiendo acceso a todos y a todo) y dejarlo en blanco, no tiene ninguna diferencia para el buscador.

¿Qué motivó la confirmación?

Un usuario en la red de micro bloggin Reddit, estaba teniendo problemas con el bloqueo de este archivo en ciertas páginas al hacerle modificaciones, y preguntó: ¿Hay una diferencia? Siempre he usado Dissallow: (en blanco) ya que parece más eficiente. Pero el cliente actual está usando Permitir: /

Hemos probado una serie de soluciones, y tengo que cambiar esta configuración solo para eliminarla.

¿Existe alguna documentación que indique que una es la sintaxis preferida? La mayor parte de la referencia que he visto indica Disallow: (en blanco).

La respuesta de John

Es muy claro al decir: No importa También puede usar un comentario como: # there are not robots.txt directives here

Entonces ¿Cómo podemos configurar nuestro robots.txt?

Yo siempre he configurado los archivos robots.txt (de mis sitios y los de mis clientes) con el comando abierto: User-agent: * (permite acceso total a todos); especialmente después que entro en vigor el primero de Julio de este año de discusión completo basada en C++.

Esta propone una mayor cantidad de comandos, mucho más complejos y específicos para permitirle o no, a los motores de búsqueda realizar acciones dentro de un sitio web.

Y honestamente nunca he tenido problemas con la indexación o bloqueo de ninguna página; pero ahora que John nos ha brindado esta solución, simplemente pienso implementarla para evitar futuros eventuales problemas.

Entonces te sugiero hacer lo mismo, aunque muchos SEOs dicen que no es necesario este archivo, siguiendo las buenas prácticas, es mejor tenerlo y no necesitarlo, que necesitarlo y no tenerlo.

Busca tu archivo robots.txt y sustituye todo con la sugerencia de John: # there are not robots.txt directives here; lo vuelves a cargar y solicitar la indexación en tu consola de búsqueda.

Foro de discusión completo en Reddit