Дубли страниц имеют одинаковый или почти одинаковый контент, но разные ссылки. Из-за этого на сайте множатся похожие страницы, и поисковики относятся к этому крайне негативно. Кроме того, теряется вес основной страницы, «размазываясь» по множеству её дублей. Если ничего не предпринимать, то будет сложно продвигать сайт, и даже и попасть под фильтры поисковиков.
Дубли страниц по умолчанию есть на любом сайте, который использует одну из CMS. Когда вы публикуете страницу, вы думаете, что она будет одна. Но на самом деле на множество её копий можно попасть, всего лишь поменяв ссылку. Эти ссылки нужно выявить и удалить.
Давайте посмотрим, какие дубли страниц могут появляться и как их выявить.
Какие бывают дубли страниц
Дубли бывают полными или частичными. Полные – это практически копии страниц. Примеры:
- Ссылки с www и без www, если вы не указали в панели поисковика основное зеркало сайта.
- Ссылки с http и https, если вы не настроили переадресацию.
- Ссылки со слэшем в конце и без него, например, https://site.ru и https://site.ru/. Этих слэшей может быть много, и все такие ссылки показывают одинаковые страницы.
- Дубли страниц с припиской в конце любых символов, например, https://site.ru/as5678/
- Разные варианты главной страницы — https://site.ru/index.html, https://site.ru/index.php, https://site.ru/index, и еще много разных.
Также дубли бывают частичными. Например, на страницах архивов с пагинацией используется одно и то же описание, одинаковые заголовки и метатеги. На странице товара, например, могут создаваться разные дубли при переходе на описание товара и на отзывы.
На самом деле таких вариантов очень много – здесь перечислены только некоторые, самые явные. Все вручную отследить практически нереально, никакой фантазии не хватит. Поэтому нужно воспользоваться специальными программами или сервисами.
Как обнаружить дубли страниц на сайте
Самый простой и доступный всем вариант – посмотреть в панели Яндекс.Вебмастера список исключённых из индексации страниц – там будут всевозможные дубли, они так и подписаны. Их можно проанализировать и выявить разные их варианты.
Можно и рекомендуется воспользоваться специальными программами, которые проведут полный анализ сайта и покажут все ошибки, в том числе и список дублей страниц. Самые популярные и эффективные:
- Netpeak Spider – отличная программа, способная найти практически все проблемы на сайте. Она платная, но при регистрации даётся 14-дневный период, когда можно пользоваться всеми функциями бесплатно. Этого вполне достаточно.
- Screaming Frog Seo Spider – бесплатно проверяет до 500 ссылок.
- ApollonGuru – онлайн-сервис. Можно ввести за один раз до 5 ссылок и посмотреть их дубликаты. Можно отобрать самые типичные – главную страницу, страницу архива, карточку товара, статью и т.д.
Также хорошо работают старые, но бесплатные программы Xenu и SiteAnalyser. Они также сканируют сайт и показывают имеющиеся на нём дубли.
После анализа и выявления дубликатов нужно начинать с ними бороться.
Как убрать дубли страниц
Если вы не имеете навыков работы с программным кодом, то сделать это вам будет сложно. Ведь большинство современных сайтов работают на одной из CMS, и все ссылки в них генерируются автоматически.
Однако вы можете избавиться от некоторых дублей, настроив главное зеркало сайта в панелях поисковиков – Яндекс.Вебмастер и Google Search Console. Также вы можете загрузить для своей CMS подходящий файл robots.txt, где прописаны правила для закрытия индексации некоторых распространённых дублей.
Наконец, вы можете настроить хостинг для правильной переадресации на протокол https – в этом могут помочь специалисты хостинга.
Тонкую же настройку лучше поручить специалисту, который сможет убрать множество оставшихся дублей страниц. Для этого потребуется добавление новых правил в файл robots.txt, настройка переадресации в файле htaccess, работа с самим сайтом, внесение в него программных изменений.