Mecanismo y decisión
robots.txt es un archivo de texto público en la raíz del sitio que da reglas de rastreo a los user agents que las respetan. Las reglas dependen de la ruta y del agente, así que un prefijo demasiado amplio o un archivo mal formado que se sirve puede bloquear más de lo previsto.
Úsalo para decisiones concretas de acceso al rastreo, no para ocultar contenido ni para eliminarlo de los resultados. Mantén accesibles los recursos de renderizado de las páginas públicas y usa un noindex adecuado o una política de eliminación adecuada cuando una URL no deba aparecer en la búsqueda.
Qué puedes controlar
robots.txt ni autentica a quien visita el sitio ni garantiza la desindexación de URL que un rastreador ya conoce.
Flujo de trabajo práctico
- Obtén el archivo raíz en el host canónico.
- Prueba los prefijos reales y los grupos de user agent.
- Permite los recursos necesarios para el renderizado público.
- Vuelve a probar tras cambios de host, framework o CDN.
FAQ
¿Disallow elimina una URL indexada?
No. Controla el rastreo, no la eliminación del índice. Una URL descubierta desde fuera puede seguir siendo conocida por un buscador.
¿Sirve robots.txt para información privada?
No. Protege el material privado con autenticación u otros controles de acceso.