robots.txt
robots.txt est un petit fichier placé à la racine d’un site. Il indique aux robots quelles parties du site ils peuvent demander.
Par e-mail d’abord. Envoyez l’URL robots.txt et la page qui vous inquiète, et nous vous indiquerons la prochaine étape pratique.
Utilisez-le comme guide pour les robots, pas comme interrupteur d’indexation.
robots.txt peut bloquer l’exploration, mais il ne retire pas toujours une URL de Google lorsque Google connaît déjà cette URL.
robots.txt est un fichier texte, généralement disponible sur /robots.txt. Il indique aux robots quels chemins ils peuvent ou ne peuvent pas demander.
Les moteurs de recherche le respectent en général, mais ce n’est pas un outil de confidentialité ni une méthode fiable pour retirer des pages des résultats de recherche.
Pour les pages qui ne doivent pas être indexées, il faut aussi utiliser la bonne méthode: noindex, balises canoniques, suppression, redirections, protection par mot de passe ou retrait dans Search Console selon le cas.
Ce que robots.txt peut contrôler 🧭
- L’exploration de certains chemins
- La découverte du plan de site grâce à une ligne sitemap XML
- Des règles différentes selon les robots avec
User-agent,AllowetDisallow
robots.txt fait partie du SEO technique. Il fonctionne mieux avec un sitemap XML propre, des balises canoniques et des pages autorisées à être explorées quand elles doivent se positionner.
Une erreur fréquente consiste à bloquer une page dans robots.txt tout en ajoutant noindex sur la page. Si Google ne peut pas explorer la page, il peut ne jamais voir l’instruction noindex.
Questions fréquentes sur robots.txt 🙋
Qu’est-ce que robots.txt?
robots.txt est un fichier texte qui donne des instructions d’exploration pour un site web.
Où se trouve robots.txt?
Il se trouve normalement à la racine du domaine, par exemple https://example.com/robots.txt.
robots.txt peut-il retirer une page de Google?
Pas de façon fiable. Il peut bloquer l’exploration, mais le retrait de la recherche demande souvent noindex, suppression, redirection, protection par mot de passe ou retrait Search Console selon le cas.
Faut-il ajouter le sitemap dans robots.txt?
Oui, il est courant d’indiquer le sitemap XML dans robots.txt pour aider les robots à le trouver vite.
robots.txt peut-il bloquer les mauvais robots?
Seulement les robots qui choisissent de le respecter. La sécurité et les abus se gèrent avec des règles serveur, pare-feu ou accès.
Retour au glossaire.
Vous ne savez pas si robots.txt aide ou bloque la mauvaise chose?
Envoyez l’URL robots.txt et la page concernée. Nous pouvons vérifier s’il s’agit d’exploration, d’indexation, de balises canoniques ou de structure du site.