Механизм и решение
robots.txt — публичный текстовый файл в корне сайта, который задаёт правила сканирования роботам, соблюдающим их. Правила работают по путям и конкретным агентам, поэтому слишком широкий префикс или некорректно отданный сервером файл могут заблокировать больше, чем вы задумали.
Используйте файл для точечных решений о доступе к сканированию, а не для скрытия или удаления из выдачи. Оставляйте доступными ресурсы, нужные для рендеринга публичных страниц. Для URL, который не должен попадать в поиск, применяйте подходящий noindex или процедуру удаления.
Что можно контролировать
robots.txt не проверяет, кто зашёл на сайт, и не гарантирует деиндексацию URL, которые поисковый робот уже знает.
Практический порядок работы
- Откройте корневой файл на каноническом хосте.
- Проверьте реальные префиксы и группы user-agent.
- Разрешите ресурсы, которые нужны для рендеринга публичных страниц.
- Перепроверяйте файл после смены хоста, фреймворка или CDN.
FAQ
Удаляет ли Disallow URL, который уже в индексе?
Он управляет сканированием, а не удалением из индекса. Внешне найденный URL поисковая система может знать и без сканирования.
Подходит ли robots.txt для закрытой информации?
Нет. Закрывайте приватные материалы аутентификацией или другими средствами контроля доступа.