Для функционирования сайта мы собираем cookie, данные об IP-адресе и местоположении пользователей. Оставаясь на сайте, вы соглашаетесь со сбором и обработкой данных.
Хорошо
Новые кейсы, обзоры digital-инструментов, приглашения на вебинары!
Подпишитесь на нас в Telegram, чтобы ничего не пропустить. Пишем только о тех инструментах, что протестировали на своих проектах.
статья

Найдены страницы дубли с GET-параметрами в Яндекс Вебмастере

Как исправить?
Надежда Коробова
Руководитель SEO-отдела Artsofte Digital
Хотите получать статьи на почту?
Страницы с дублированным контентом зачастую являются причиной снижения скорости индексации сайта. Это связано с тем, что поисковый робот имеет суточный лимит по количеству страниц, которые он сканирует для одного домена. Если у сайта много страниц-дублей, то робот тратит свой лимит на индексирование «ненужных» страниц. В таком случае страницы с полезным для пользователей содержанием индексируются дольше, теряя трафик и потенциальные высокие позиции в выдаче.

Если проблема дублирования появляется, то в панели Яндекс.Вебмастера появляется сообщение «Найдены страницы дубли с GET параметрами». Данная ошибка означает, что на разных страницах веб-ресурса (адреса которых отличаются только динамическими параметрами) имеется схожий или одинаковый контент.
ТЕРМИНЫ

Что это такое GET параметры в URL?

Под данным термином подразумеваются динамические параметры, которые обеспечивают возможность изменения содержимого страницы. Данные параметры указываются в адресной строке после знака «?». Для их разделения используется символ «&». Эти параметры возникают при использовании:

  • фильтров;
  • поиска;
  • UTM-меток.

Например, в онлайн-магазинах часто можно встретить сортировку по стоимости, рейтингу, популярности и т. д.

Работает так: при добавлении GET-параметров динамически меняется контент на странице (фильтруются товары), при этом статические данные (метатеги, тексты, заголовки), как правило, остаются такими же, как у аналогичной страницы без GET-параметров. Поэтому возникает большое количество страниц–дублей.

Пример
Страница без GET-параметров:
Страница без GET-параметров
Страница с GET-параметрами: Title и заголовок H1 не изменились после применения фильтра. Данная страница — это дубль:
Страница с GET-параметрами
РЕШЕНИЕ

Как устранить дубли?

Для устранения этой проблемы достаточно указать директиву Disallow или Clean-param. Важно учитывать, что Clean-param актуально исключительно для Яндекса, другие поисковые системы не распознают данное правило.

Данное правило сигнализирует поисковому боту о необходимости объединения сигналов с дублей на одной уникальной странице. После этого все дубли, которые не несут пользы посетителям сайта, удаляются из выдачи поисковик.
ПАРАМЕТР 1

Как правильно применять Clean-param

Чтобы разобраться с тем, как применять данную директиву, можно воспользоваться простым примером. Предположим, что есть дубли с различными GET-параметрами. При этом необходимо добиться, чтобы в выдаче поисковика отображалась лишь уникальная страница. Для этого необходимо прописать директиву Clean-param в robots.txt. В частности, необходимо указать: «Clean-param: sort&order». Данное правило указывает на то, чтобы краулеры не учитывали параметры sort и order. Также указывается префикс применения директивы. Он обозначает, что краулеру не нужно учитывать данные параметры для страниц, начинающихся с этого префикса.
ПАРАМЕТР 2

Как правильно применять Disallow

Для удаления «мусорных» страниц также часто используется правило Disallow. В данном случае в robots.txt необходимо указать следующий текст: Disallow: *?sort=.

Это правило также предусматривает указание динамических параметров, при наличии которых краулеру не нужно индексировать страницы. В данной ситуации этими параметрами являются sort и order.

При использовании этого правила существует возможность закрытия абсолютно всех гет параметров от индексации в поисковой системе Яндекс. Для этого в robots.txt нужно указать: Disallow: *?.

При использовании этого правила необходимо быть предельно внимательным. Это обусловлено тем, что существует риск закрытия от индексации в поисковике основных страниц.

Остается добавить, что Яндекс Вебмастер считает проблему дублирования страниц с get-параметрами критичной. Поэтому при ее возникновении необходимо сделать все возможное для скорейшего устранения дублей.
Хотите получать статьи на почту?

Поделиться

Делимся опытом