El fichero robots.txt es un elemento fundamental para la página web que desea aparecer bien indexada por los motores de búsqueda como Bing. Funciona como un directorio para los bots, indicándoles https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html