Gerador de robots.txt

Controle o rastreamento com cuidado

Publique o arquivo em /robots.txt. As regras se aplicam a todos os user-agents informados neste grupo. Um bloqueio de rastreamento pode impedir o buscador de ler uma diretiva noindex.

robots.txt não protege informações privadas. Use autenticação e permissões no servidor para conteúdo sensível.