robots.txt
robots.txt é um pequeno ficheiro na raiz de um site que indica aos rastreadores que partes do site podem solicitar.
Primeiro por email. Envie o URL do robots.txt e a página que o preocupa, e indicamos o próximo passo prático.
Use-o como guia para rastreadores, não como interruptor de indexação.
robots.txt pode bloquear o rastreio, mas não remove de forma fiável um URL do Google quando o Google já conhece esse URL.
robots.txt é um ficheiro de texto, normalmente em /robots.txt. Indica aos rastreadores que caminhos podem ou não podem solicitar.
Os motores de pesquisa costumam respeitá-lo, mas não é uma ferramenta de privacidade nem uma forma fiável de remover páginas dos resultados.
Para páginas que não devem ser indexadas, use também o método certo: noindex, canonicals, eliminação, redirecionamentos, proteção por palavra-passe ou remoção no Search Console conforme o caso.
O que o robots.txt pode controlar 🧭
- Rastreio de caminhos específicos
- Descoberta do mapa do site através de uma linha de sitemap XML
- Regras diferentes para rastreadores diferentes com
User-agent,AlloweDisallow
robots.txt pertence ao SEO técnico. Funciona melhor com um sitemap XML limpo, canonicals corretos e páginas que podem ser rastreadas quando devem posicionar.
Um erro comum é bloquear uma página em robots.txt e adicionar noindex nessa página. Se o Google não puder rastrear a página, pode nunca ver a instrução noindex.
Perguntas frequentes sobre robots.txt 🙋
O que é robots.txt?
robots.txt é um ficheiro de texto que dá instruções de rastreio para um site.
Onde fica o robots.txt?
Normalmente fica na raiz do domínio, por exemplo https://example.com/robots.txt.
robots.txt pode remover uma página do Google?
Não de forma fiável. Pode bloquear o rastreio, mas a remoção da pesquisa costuma exigir noindex, eliminação, redirecionamento, palavra-passe ou Search Console.
Devo adicionar o sitemap ao robots.txt?
Sim, é comum referenciar o sitemap XML no robots.txt para os rastreadores o encontrarem rapidamente.
robots.txt pode bloquear bots maus?
Apenas bots que escolhem respeitá-lo. Segurança e abuso exigem regras de servidor, firewall ou acesso.
Voltar ao dicionário.
Não sabe se o robots.txt ajuda ou bloqueia o conteúdo errado?
Envie o URL do robots.txt e a página que o preocupa. Podemos verificar se o problema é rastreio, indexação, canonicals ou estrutura do site.