Meta robots tag: controlling indexing per page

Meta Robots

Метатег robots задаёт инструкции поисковым роботам на уровне страницы: про индексацию и показ в выдаче. Он работает, только если робот может получить доступ к странице.

Директива meta robots задаёт такие правила, как noindex, nofollow или управление сниппетами. Она отличается от robots.txt, который ограничивает сканирование, и от тега canonical, который указывает предпочтительный URL среди дублей.

Схема основных входных данных и пути принятия решения для Meta Robots. — На схеме — основные входные данные, проверки и путь принятия решения для Meta Robots.

Практическое внедрение

Сначала задайте политику индексации: какие URL публичны, какие доступны, но исключены, и как обрабатываются дубли. Примените одно последовательное правило через CMS или шаблон и проверьте его в финальном ответе сервера. Для не-HTML файлов, например PDF, используйте X-Robots-Tag.

Что проверить

Проверьте HTML после рендеринга, заголовки ответа и разрешение на сканирование. Убедитесь, что директива стоит на нужном каноническом варианте, а не на обязательной навигации или URL из карты сайта. Перепроверяйте после выкладки: кеш и условия шаблона могут изменить результат.

Частые ошибки

Не блокируйте URL в robots.txt и не ждите, что робот увидит его meta noindex. Не делайте nofollow основой широкой политики внутренней перелинковки.

FAQ

Директива meta robots задаёт такие решения, как noindex, nofollow или управление сниппетами. Она отличается от robots.txt, который ограничивает сканирование, и от тега canonical, который указывает предпочтительный URL среди дублей.