Что означает Noindex
Noindex управляет индексацией, а не доступом. Закрытые материалы требуют аутентификации или удаления. robots.txt — это инструкция для сканирования, и она может помешать сканеру увидеть мета-тег noindex.
Noindex — директива для роботов, которая просит добросовестные поисковые сканеры не показывать страницу или ресурс в результатах. При этом URL может оставаться доступным посетителям и ссылкам.
Практический порядок проверки
Для HTML-страниц выбирайте мета-тег meta robots, для не-HTML ресурсов — X-Robots-Tag. Директива должна оставаться видимой для сканера, а намеренное состояние индексации страницы — явным.
Что проверить
Загрузите HTML после рендеринга и заголовки ответа, проверьте директиву, затем посмотрите страницу в инструменте «Проверка URL» в Google Search Console и дайте время на повторное сканирование, прежде чем судить об удалении.
Ограничения и частые ошибки
Не блокируйте URL в robots.txt и не рассчитывайте, что Google надёжно прочитает его директиву noindex. И не используйте noindex как средство защиты приватности.
Прежде чем добавлять noindex, сформулируйте бизнес- и пользовательскую причину, по которой URL должен быть доступен, но вне поиска. Типичные случаи — внутренняя страница результатов поиска, временное состояние кампании или тестовая среда. Затем выберите правильный способ передачи директивы, добавьте регрессионную проверку и зафиксируйте условие, при котором её нужно снять. Для тестовой среды считайте noindex одной из контрольных точек релиза наряду с контролем доступа и проверками готовности к работе в продакшене, но никогда не единственной защитой конфиденциального контента.
Как поисковик видит директиву
Используйте либо <meta name="robots" content="noindex"> в HTML-документе, либо X-Robots-Tag: noindex в HTTP-ответе; заголовок также управляет не-HTML ресурсами. Не блокируйте URL в robots.txt, если Google должен его сканировать, чтобы увидеть директиву noindex.