Fonctionnement et décision
robots.txt est un fichier texte public, situé à la racine du site, qui fournit des règles de crawl aux user-agents conformes. Les règles dépendent du chemin et de l'agent : un préfixe trop large ou un fichier mal formé diffusé par le serveur peut bloquer plus que prévu.
Utilisez-le pour des décisions précises d'accès au crawl, pas pour garder un secret ou retirer des pages des résultats. Laissez accessibles les ressources nécessaires au rendu des pages publiques, et appliquez un noindex adapté ou une procédure de suppression lorsqu'une URL ne doit pas apparaître dans la recherche.
Ce que vous pouvez contrôler
robots.txt n'authentifie pas les visiteurs et ne garantit pas la désindexation des URL déjà connues d'un crawler.
Méthode pratique
- Récupérez le fichier racine sur l'hôte canonique.
- Testez les préfixes réels et les groupes de user-agents.
- Autorisez les ressources nécessaires au rendu public.
- Retestez après tout changement d'hôte, de framework ou de CDN.
FAQ
Disallow retire-t-il une URL déjà indexée ?
Non. Il contrôle le crawl, pas la suppression de l'index. Une URL découverte de l'extérieur peut rester connue d'un moteur de recherche.
robots.txt convient-il aux informations privées ?
Non. Protégez les contenus privés par une authentification ou d'autres contrôles d'accès.