wayback

2 ideas encontradas en Tecnología.


Buscar en todo facilisimo
amino claves comunidad ...

¿Qué es Robots.txt y para qué sirve? Yo robots Parte I

Muchas webs tienen un archivo llamado “robots.txt” este archivo ayuda a las webs a evitar que los buscadores indexen directorios o otro contenido que no tendríamos que ver.Robots.txt es un archivo de texto (no HTML) que se coloca en un sitio o página, para indicar a los robots de búsqueda qué páginas desea que no visiten. El archivo Robots.txt no es obligatorio para los motores de búsqueda, pero g ...