Каким образом сайт или его страницы попадают в результаты поиска, всем понятно, поисковик находит нужные страницы и добавляет их в индекс. Чем больше страниц туда попадает, тем лучше для веб-ресурса. Однако есть большое количество страниц, которые не стоит показывать поисковым системам, чтобы сохранить рейтинг сайта в выдаче. Как правило, от индексации закрывают административные данные, дубли страниц, мета-теги, корзину и оформление заказов. Так же принято закрывать личные данные пользователей, результаты поиска по сайту и тому подобное. В общем, если сайт submarine, к примеру, хочет добиться быстрой индексации страниц, все лишнее лучше скрыть.

Почему нельзя оставить все как есть?

Что касается административных данных, то их точно необходимо закрывать, поскольку эта информация не несет никакой пользы для поисковых систем. Это же касается и личных данных пользователей сайта. Для тех, кто регистрируется на вашем сайте важно понимать, что их персональная информация не уйдет за пределы этого ресурса. Еще один вид контента, который подлежит закрытию от индексации – дубликаты страниц. Особенно часто с этой проблемой сталкиваются интернет-магазины, поскольку там нельзя обойтись без копирования контента, как минимум, частичного. Но даже неполный дубликат способен снизить рейтинг сайта в выдаче.

Облако тегов является очень удобным инструментом для быстрого поиска по сайту. Но если его не скрыть от индексации, то поисковик посчитает контент не уникальным, поэтому лучше оставить теги видимыми только для посетителей ресурса. Проще говоря, весь «мусор» подобного рода лучше не показывать поисковым системам, так как полезной такую информацию не назовешь, а пострадают при этом все показатели сайта. Чтобы закрыть страницы от индексации необходимо проделать ряд исправительных работ, но делать это нужно внимательно, чтобы не скрыть важный контент.

Чаще всего для закрытия от индексации используется текстовый файл robots.txt, который предназначен для того, чтобы указать поисковым роботам, куда им заходить нельзя. Данный файл можно редактировать сколько угодно, поэтому при появлении страниц, мешающих продвижению сайта, их просто нужно вписать в robots.txt. Если таковой отсутствует или в нем нет никаких записей, поисковики будут индексировать всю информацию, находящуюся на сайте. Но так как лимит у поисковых систем ограничен, до полезного контента бот может просто не добраться, если на сайте очень много вложений.


Нашли орфографическую ошибку? Выделите ее мышью и нажмите Ctrl+Enter