Вы здесь

5 способов предотвратить индексацию вашего сайта

Как ни странно это звучит, но иногда задачей поисковой оптимизации становится предотвращение индексации контента поисковыми машинами. В этой статье речь пойдет о том, как можно исключить ваш сайт из индексации.

Вот только некоторые типичные случаи, когда это может понадобиться:

- фасетная навигация десятки, а иногда сотни и тысячи страниц с дублированным контентом;

- посадочные страницы для еmail-рассылки, на которых содержатся промо-предложения с ограниченным сроком действия или только для конкретных целевых групп;

- ссылки добавления в списки желаний, на странице которых содержатся те же теги, что и на страницах продуктов;

- купоны на скидку, которые долго отображаются в результатах поиска даже после того, как завершилась акция.

В этих и многих других аналогичных ситуациях ваш контент на таких страницах не должен проходить процедуру индексации поисковыми машинами. Ниже приведены несколько методов предотвращения индексации, которые помогут вам в этом.

1. Запрет в файле Robots.txt

Принудительный запрет индексации — самый простой для внедрения инструмент, хоть и нанесет определенный вред SEO. Строчка запрета индексации в файле robots.txt, помещенного в корне сайта, помогает отключить доступ поисковым краулерам к сайту, конкретным файлам или папкам. Там можно прописать даже определенные шаблоны для адресов на сайте, к примеру, все URL, ведущие к GIF-файлам или все страницы, которые содержат определенную фразу или тег.

Этот метод — лучший способ оградить контент от индексации без нанесения какого-либо ущерба пользовательскому опыту на вашем сайте. Новые пользователи не смогут находить контент при помощи поисковых запросов, а существующие сохранят к нему доступ.

Небольшая подсказка: прежде чем выгрузить окончательную версию файла robots.txt, протестируйте этот отредактированный файл в Google Webmaster Tools, чтобы избежать ошибок.

2. Включение мета-тега noindex

Используя постраничную индексацию, тег для роботов noindex служит обязательным правилом для исключения сайта из индексации. В отличие от запрета в файле robots.txt, в котором можно задать блокирование целых папок и определенных паттернов адресов, каждый прописанный метатег noindex блокирует доступ только к одной странице. Если noindex не объединить с командой nofollow, поисковики все равно могут получать доступ к странице и следовать по ссылкам. В результате исключения из индексации путем использования метатегов доступен поиск по остальным ссылкам и страницам сайта кроме тех, которые были исключены. Можно даже создать шаблон исключения из индексации, который вы будете применять к разным страницам.

На работу пользователей с вашим сайтом такая блокировка индексации не влияет. Иными словами, отключение индексирования означает, что поисковики не смогут привлекать новых пользователей на ваш сайт, но существующие смогут нормально перемещаться по ссылкам и разделам сайта.

3. Статус для сервера в заглавной части сайта

Если вы хотите, чтобы к вашему контенту не добрались ни поисковые роботы, ни простые пользователи, то наилучшим инструментом может стать перенаправление — редирект 301. Если страница уже была онлайн и была проиндексирована, то у нее есть определенный уровень трастовости и веса в поисковой выдаче. Отказаться от трастовой страницы совсем — значит, пустить на ветер деньги, вложенные в сайт и его продвижение. Помимо перенаправления пользователей на корректную версию сайта и целевой контент, команда 301 редиректа передает аналогичное перенаправление и для поисковиков. Так они повторно проиндексируют URL и передадут авторитетность старых ссылок новым, что позволит вам сохранить свою позицию в поисковой выдаче.

Установка 301 редиректа означает, что любой запрос от пользователя к странице, равно как запрос от поискового бота, будет перенаправлен на новую страницу. Старый контент и предыдущая версия страниц и ссылок будут недоступны для индексации и попадания в поисковую выдачу. Например, в случае с просроченным акционным купоном на скидку, который по-прежнему высоко держится в поисковой выдаче, страница, на которую он ссылался, сохраняет определенный авторитет в общей выдаче. Внедрение редиректа 301 позволит не потерять этот авторитет и конвертировать в продажи приходящих пользователей даже тогда, когда акция со скидками закончилась.

Бывают случаи, когда установление «301 правила» невозможно физически; тогда удаление целевого адреса и включение страницы 404 приведет к повторной индексации страницы. Правда, авторитетность страницы при этом снижается, и все ваши предыдущие усилия по поисковой оптимизации будут потеряны.

4. Защита паролем

Стандартный инструмент для подтверждения доступа к контенту поможет вам отсечь поисковых ботов от процесса индексации сайта, защищенного паролем. Эффективность этого инструмента стоит сбалансировать с тем, насколько удобно использовать защиту паролем вашим читателям и подписчикам. Тем не менее, это хороший способ ограничить поисковикам доступ к сайту в целом, но сохранить его для конкретной группы пользователей.

5. Другие технические средства блокировки

Если у вас есть навыки разработчика и вы умеете настраивать свою веб-платформу, внедрение на сайте cookies или сложная JavaScript-оптимизация поможет вам исключить сайт из индексации ботами. Этот метод можно назвать «положительной невидимостью», потому что другие инструменты вынуждают вас не просто исключать сайт из поиска, но и жертвовать поисковой оптимизацией как таковой. Если вы хотите поместить весь свой контент «под замок», то надо задать индексацию только для поисковиков, которые принимают cookies или выполнение сложных скриптов JavaScript. Помните об этом еще и потому, что такое исключение из индексации работает и для тех пользователей, у которых на компьютере отключены поддержка файлов cookies и JavaScript.

Какой метод лучше использовать?

В перечень доступных методов для исключения из индексации мы не внесли блокирование поисковых ботов при помощи директивы rel=nofollow для ссылок. Nofollow — классическое заблуждение по поводу якобы запрета на индексацию, потому что роботы поисковых машин опознают и текстовые ссылки с такой меткой. Они просто не присваивают авторство ссылке на целевой странице. Все, что сообщает поисковому боту тег nofollow, — это ваше желание сослаться текстом на страницу одновременно с нежеланием дать на нее трастовую ссылку.

Также мы не включили теги canonical. Обычно их упоминают на ряду с 301 редиректом, но на самом деле не блокируют доступ поисковикам к индексации контента. Если 301 редирект — это команда, то теги такие — это что-то вроде вежливого запроса не индексировать страницу и перенаправить любую входящую ссылку на новую страницу, указанную в теге. Жесткая блокировка от индексации вам важнее и нужнее, чем вежливая просьба; потому мы исключили этот прием из нашего списка методов.

Александр Мельник, Lovim.net

Источник: Practical Ecommerce | Изображение: PzaxeSergey02

Оценить материал:
Голосов еще нет
распечатать Обсудить в: