robots.txt
robots.txt es un archivo pequeño en la raíz de un sitio web que indica a los rastreadores qué partes pueden solicitar.
Primero por correo. Envía la URL de robots.txt y la página que te preocupa, y te indicaremos el siguiente paso práctico.
Úsalo como guía para rastreadores, no como interruptor de indexación.
robots.txt puede bloquear el rastreo, pero no elimina de forma fiable una URL de Google si Google ya la conoce.
robots.txt es un archivo de texto, normalmente en /robots.txt. Indica a los rastreadores qué rutas pueden o no pueden solicitar.
Los motores de búsqueda suelen respetarlo, pero no es una herramienta de privacidad ni una forma fiable de retirar páginas de los resultados.
Para páginas que no deben indexarse, usa también el método correcto: noindex, etiquetas canónicas, eliminación, redirecciones, protección con contraseña o retirada en Search Console según el caso.
Qué puede controlar robots.txt 🧭
- El rastreo de rutas concretas
- El descubrimiento del mapa del sitio mediante una línea de sitemap XML
- Reglas distintas para distintos rastreadores con User-agent, Allow y Disallow
robots.txt forma parte del SEO técnico. Funciona mejor con un sitemap XML limpio, etiquetas canónicas y páginas que puedan rastrearse cuando deben posicionarse.
Un error común es bloquear una página en robots.txt y poner noindex en la página. Si Google no puede rastrearla, quizá nunca vea la instrucción noindex.
Preguntas frecuentes sobre robots.txt 🙋
¿Qué es robots.txt?
robots.txt es un archivo de texto que da instrucciones de rastreo para un sitio web.
¿Dónde se encuentra robots.txt?
Normalmente está disponible en la raíz de un dominio, por ejemplo https://example.com/robots.txt.
¿Puede robots.txt retirar una página de Google?
No de forma fiable. Puede bloquear el rastreo, pero retirar una página de la búsqueda suele requerir noindex, eliminación, redirecciones, protección con contraseña o retirada en Search Console según el caso.
¿Conviene añadir el sitemap a robots.txt?
Sí, es habitual referenciar el sitemap XML en robots.txt para que los rastreadores lo encuentren rápidamente.
¿Puede robots.txt bloquear bots malos?
Solo los bots que deciden respetarlo. La seguridad y el control de abuso necesitan reglas de servidor, cortafuegos o acceso.
Volver al glosario.
¿No tienes claro si robots.txt ayuda o bloquea lo equivocado?
Envía la URL de robots.txt y la página que te preocupa. Podemos comprobar si el problema es rastreo, indexación, canónicas o estructura del sitio.