Какие страницы следует закрывать от индексации?
Поисковые роботы ходят по всему интернету и индексируют все найденные страницы. Это происходит без нашего участия и согласия. Но мы можем запретить индексировать ту или иную страницу. Для этого нам достаточно лишь поставить галочку в нашей панели управления. Зачем это нужно делать и какие именно страницы нужно запрещать индексировать?
Начнем с первой части - зачем запрещать от индексации страницы сайта? Как правило запрещают индексацию страниц, по содержимому которых не хотелось бы находиться в поисковых системах. Возможно, это какая то информация которая должна лежать в глубине сайта, а где именно должны знать только посвященные люди или информация которая может ввести в заблуждение поисковых роботов при оценке сайта.
Вот мы уже и стали переходить ко второй части какие страницы следует закрывать от индексации. Возможно я для Вас открою Америку, а возможно Вы знаете, что в настоящее время в поисковых системах действует региональная выдача. То есть у сайта определяется регион и он получает приоритет на выдачу в этом регионе.
Как поисковик определяет к какому региону относится сайт? Одним из способов является анализ адресов и телефонов на сайте. По коду города в телефонном номере или по названию города, поисковый робот определяет регион. Но представьте, если Вы на странице сайта выложите список Ваших партнеров по всей стране с адресами и телефонами. Обилие адресов робота введет в ступор и он может ошибиться с выбором региона Вашего сайта. В таких случаях, такие страницы нужно закрывать от индексации.
Так же нужно закрывать от индексации дублирующийся текст внутри сайта. Недопустимо, что бы один и тот же текст был доступен по 2 разным адресам. Но если в этом есть необходимость, то один из адресов нужно закрыть от индексации, оставив доступным роботам только один.
Следует закрывать от индексации страницы с неуникальным контентом. Например, Вам нужно опубликовать инструкцию к товару. Эта инструкция неуникальна и может встречаться еще на сотнях сайтов. Такое дублирование может навредить позициями Вашего сайта в поисковиках, поэтому такие страницы так же следует закрывать от индексации.
В этих и подобных случаях закрытие от индексации ненужных страниц позволит выделить в индексе наиболее важные, что положительно скажется на рейтинга сайта в поисковиках в целом.