Robots.txt no seu site e sua importância com mecanismos de busca
Um arquivo robots.txt informa aos mecanismo de busca quais URLs os robôs podem acessar em seu site. Isso é usado principalmente para aumentar a segurança proibindo ou permitindo o acesso de mecanismos específicos (ou todos) a determinadas partes do site.