Noindex: что это, зачем и как использовать

иногда с помощью noindex можно закрыть от индексации страницы, содержащие так называемый пользовательский контент. Использование noindex позволит ограничить распространение такого вида контента в результатах поиска «Яндекс». Как итог, можно будет «ослабить» модерацию входящих комментариев. Заблокировать тегом noindex можно не только комментарии, но и любые другие страницы. Например, отзывы, личные данные и другую конфиденциальную информацию. Имейте в виду, что изначально тег для этих целей не предназначен. Для пользовательских URL (форумные сообщения, комменты, QA) существует специальный атрибут – rel=ugc.
Недобросовестные веб-мастера прячут от краулеров качественный копипаст (это контент, который увидят посетители сайта), а вместо него «скармливают» поисковому роботу идеально (или не очень) SEO-оптимизированный текст. Именно из-за таких случаев «Яндекс» ввел специальные алгоритмы-поправки для своих краулеров. Учитывайте, что сейчас даже закрытый двойным тегом noindex текст все равно автоматически индексируется поисковыми роботами. После этого такой скрытый текст дополнительно анализируется алгоритмами «Яндекса» и, если там обнаруживается копипаст или поисковый спам, могут последовать санкции. Санкции могут затрагивать как весь сайт, так и только проблемную страницу.