Распротраненные ошибки дублированного контента

Обычно это технические ошибки, которые могут привести к ухудшению рейтинга в поисковых системах. Поэтому очень важно уметь выявлять эти технические ошибки и правильно устранять.
Отдельные версии www или без www и http или https
Например, сайт доступен по протоколу https и с адресом www. Канонический домен будет выглядеть так: https://www.domen.ru.
Если перенаправление на стороне сервера настроено неправильно, домен может быть доступен по адресам:
- http://www. domen.ru (без https);
- http://domen.ru (без https и www);
- https://domen.ru (без www).
Варианты URL с учетом регистра
Google различает верхний и нижний регистр в URL-адресах. Это означает, что https://www.domen.ru/url-a/ (нижний регистр) и https://www.domen.ru/URL-A/ (верхний регистр) считаются разными страницами.
Поэтому следует быть осторожным и не допускать опечаток при создании внутренних ссылок, поскольку это может привести к тому, что обе версии URL будут проиндексированы.
URL-адреса с косой чертой и без нее
Косая черта (/) в конце URL называется завершающей косой чертой. URL-адреса часто доступны в обоих вариантах:
- https://domen.ru/url-a (без конечной косой черты);
- https://www.domen.ru/url-a/ (с косой чертой)
- настроить 301 редирект с альтернативных версий на правильный URL;
- вставить канонический rel, указывающий на правильную версию.
Может случиться так, что главная страница сайта будет доступна по нескольким URL-адресам из-за неправильной конфигурации сервера.
Например, в дополнение к https://www.domen.ru он может быть доступен через:
- https://www.domen.ru /index.html;
- https://www.domen.ru/index.php;
- https://www.domen.ru/index.asp;
- https://www.domen.ru/index.aspx.
- перенаправить другие URL на основной с помощью 301 редиректа;
- или внедрить rel canonical в исходный код, указывающий на правильную версию.
Это информация, содержащаяся в строке запроса URL, где строка запроса – это часть URL, которая идет после знака вопроса.
Например, https://www.domen.ru/scarpe?type=sneakers. В данном случае строка запроса type=sneakers.
Существует два типа параметров URL:Параметр URL – это строка, состоящая из букв, цифр и символов. Строки запросов используются для изменения содержимого страницы или отслеживания информации о клике по URL.
- Активные параметры URL, изменяющие содержимое страницы.
- Пассивные параметры URL, использующиеся в целях мониторинга и не меняющие содержимое страницы.
Чтобы этого не произошло, следует придерживаться следующей практики:
- Сообщить Google, какая версия страницы должна быть проиндексирована с помощью rel canonical.
- Использовать функцию управления параметрами в Google Search Console и Bing Webmaster Tools, чтобы проинструктировать краулеров о том, как управлять параметрами.
- Оптимизировать файл robots.txt, запретив роботам сканирование определенных разделов сайта (например, Disallow:/clothes/*?).
- Правильно использовать внутренние ссылки, всегда ссылаясь на каноническую версию URL и никогда на параметрическую.
Это система классификации контента, которая часто используется в CMS для поддержки категорий и тегов.
Например, на блоге размещена статья в трех разных категориях. Пост может быть доступен через:
- https://www.domen.ru/categoria-a/post/;
- https://www.domen.ru/categoria-b/post/;
- https://www.domen.ru/categoria-c/post/.