Как узнать какая страница является канонической. Каноническая страница rel=»canonical. Канонический URL – помощник в борьбе с дублированным контентом

В этой статье мы рассмотрим канонические ссылки в html (атрибут rel="canonical"). Поговорим зачем они были введены и для чего использовать. Скажу сразу, что появились они в 2009 году в компании Google.

Что такое каноническая ссылка

Дубли на сайте - страницы содержащие одинаковый контент , но имеющие разные адреса URL.

Чаще всего дубли возникают в результате недоработок движка сайта . Такие проблемы есть почти у каждого сайта на CMS. Ничего страшного в этом нету, если их грамотно обработать. Бороться с дублями необходимо прежде всего для того, чтобы занимать хорошие места в поисковой выдаче. Как известно, дубли негативно влияют на траст сайта в целом, а следовательно и на его позиции.

Для борьбы с дублями существует несколько способов:

  • robots.txt (все про robots.txt)
  • 301 редиректом (как сделать 301 редирект)
  • 404 страницей (404 ошибка - как правильно настроить)

Однако есть и четвертый способ решения этой проблемы - использование атрибута rel="canonical" .

Атрибут rel="canonical" - как пользоваться

Синтаксис rel="canonical"
... ...

Этот атрибут прописывается в заголовочных тегах . На всех одинаковых страницах (дублях) нужно указать адрес главной страницы (основной). Ссылки в href="" и есть канонические ссылки.

Например, если на сайте есть одинаковые страницы

site/catalog/tovar site/catalog/tovar?sort=abc site/catalog/tovar?sort=price

Для уточнения какая из этих страниц является главной достаточно написать на каждой странице:

Тем самым показывая поисковой системе, что адрес основной страницы является - site/catalog/tovar .

Ответы на часто задаваемые вопросы

1. Стоит ли пользоваться каноническими ссылками?

Да, стоит. В рассмотренным примере, можно было пользоваться только каноническими ссылками или robots.txt. Можно совмещать эти два способа.

При использовании нужно быть осторожным, чтобы не давать роботу ложные рекомендации на тех страницах, где это делать не нужно.

2. Что будет если канонически ссылки противоречат друг другу

Это плохо, но поисковый робот тогда самостоятельно разберется, какую страницу оставить главной. Лучше не допускать таких противоречий.

3. Случаи, когда робот может проигнорировать ваши рекомендации

Из справки Яндекса:

  • Документ по каноническому адресу недоступен для индексирования
  • В качестве канонического адреса указывается URL в другом домене или поддомене
  • Вы указали несколько канонических адресов
4. Можно ли использовать цепочку канонических URL

Например, /stranica/123 ссылается на /stranica/12, а эта в свою очередь на /stranica/. Поисковый робот может проигнорировать такую конструкцию.

5. Как правильно выбрать канонический урл

Сложно ответить и рассмотреть все варианты в паре предложений. Дадим общие рекомендации. На мой взгляд нужно смотреть на привлекательность URL (или точнее на ЧПУ). К примеру, если есть страница /cat/2323fdfds34.html и страница /cat/rel-canonical. Очевидно, что второй адрес гораздо предпочтительней.

Если все не так очевидно, то стоит выбирать менее вложенные статьи в каталоги и менее короткие URL. К примеру /cat/podcat/podpodcat/str.html лучше заменить на /cat/str.html

И последнее: если какая-то страница уже долго время существует и хорошо ранжируется, то все новые "дубли", лучше ссылать на нее. Смена адреса путем rel canonical, конечно, не должна повлиять на позиции, но лучше не рисковать, если они и так высокие по этому запросу.

6. Можно ли ссылаться на другой домен канонической ссылкой

В атрибуте rel canonical можно использовать ссылки только внутри домена или поддоменов. Нельзя ссылаться на внешние сайты.

7. Можно ли делать rel canonical сама на себя

Да можно. Смысла в этом нету, но и плохого тоже.

Link rel=canonical - атрибут тега , который используется для обозначения канонических страниц на сайте. Что такое канонические страницы? Каноническая страница - это страница сайта адрес которого является каноническим (предпочитаемым), в группе схожих по содержимому страниц. Проще говоря канонический URL страницы - это адрес, который будет индексироваться при наличии .

Когда нужно использовать канонические ссылки

  1. Для предупреждения появления различных дублей. Например:
    • страниц сортировок: /*sort, asc, desc, list=*;
    • дублей из-за UTM-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=, /*utm_medium=;
    • других страниц c GET-параметрами в URL;
    • дублей в результате особенностей работы CMS (движка).

    В этом случае нужно добавить атрибут rel=“canonical” на все статические страницы сайта. Например, для страницы https://site.ru/category-1/page-2, rel=“canonical” будет выглядеть следующим образом: href=“https://site.ru/category-1/page-2” />

  2. Для доступных по разным URL страниц с очень похожим контентом. Например, это могут быть страницы одной серии товара, который отличается только расцветкой или страницы товара, который расположен сразу в нескольких категориях.В этом случае нужно указать со всех страниц rel=“canonical” на основную, приоритетную страницу.
  3. На страницах пагинации, если в категориях сайта есть страницы «Показать всё». В таком случае на каждой из страниц пагинации нужно указать канонической страницу «Показать всё».Например, для страницы https://site.ru/category-1/page-2 нужно прописать канонический URL:ru /category-1/show-all” />

Как настроить канонические адреса rel=“canonical”?

Прописать между тегами любой HTML-страницы

Это основной способ. Чтобы указать каноническую ссылку, пропишите между тегами на странице полный URL страницы, которая должна быть в индексе.

Например, для страницы https://site.ru/*utm_content= канонической будет https://site.ru/.

Для получения такого результата, на странице https://site.ru/*utm_content= мы указали тег:

ru /” />

Чтобы снизить вероятность ошибки в элементах link, после атрибута rel=“canonical” используйте абсолютные, а не относительные ссылки.

В файле Sitemap

В XML-карте сайта вы можете прописать канонический (основной) URL для любой страницы.

В заголовке HTTP

Лучше всего использовать для документов не HTML-формата. Например, для файлов формата PDF.

В таком случае сервер, при запросе дублирующего файла, должен отдавать ссылку на файл-оригинал:

Link: ; rel=“canonical”

Этот способ подойдёт, если у вас есть доступ к настройкам сервера. Не рекомендуется использовать для HTML-документов.

С помощью плагина

Для CMS существуют различные плагины, которые позволяют настроить канонический URL. Например:

  • для WordPress можно настроить canonical с помощью Yoast SEO ;
  • в OpenCart - реализовано в настройках CMS (нужно зайти в настройки товара и задать параметр SEO URL);
  • для настройки атрибута canonical в Joomla (версии 3.х и выше) нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel=“canonical” (с указанием URL на страницу с настроенным ЧПУ).

301 редирект или rel=canonical

Если нет факторов, мешающих внедрить , то используйте этот вариант . Помните, что указание канонической ссылки является рекомендательным для поисковых систем. Нередко в выдаче Google можно встретить ранжирующиеся неканонические страницы, при этом в коде страницы будет указана ссылка на первоисточник.
Алгоритм поисковика строится не только на поиске канонической ссылки в коде страницы, но и на массе других факторов - наличии внешних и внутренних ссылок, релевантности для пользователя и т.д. Поэтому у Google может быть другое мнение на счет того, какую же из страниц-дублей необходимо считать оригинальной.
Если же необходимо оставить страницы доступными для пользователей либо существуют технические сложности в реализации 301 редиректа на сайте - используйте rel=canonical.

Основные ошибки использования rel=canonical

Канонические URL поддерживают большинство популярных поисковых систем: Google, Яндекс, Yahoo, Bing. Но вы все равно продолжаете видеть в индексе неканонические страницы вашего сайта? Первое что нужно сделать - проверить не была ли допущена ошибка при настройке rel=canonical. Ниже перечень наиболее распространенных ошибок:

Не индексируемая каноническая страница

Проверьте может ли робот поисковой системы проиндексировать страницу, на которую вы ссылаетесь как на каноническую. Удостоверьтесь, что:

  • страница отдает ответ сервера 200;
  • на странице не установлен мета-тег robots со значением noindex;
  • страница не закрыта от индексирования в файле robots.txt.

Разные канонические URL для одной страницы

Довольно часто устанавливаемые на сайт модули добавляют в код канонические ссылки. Это может привести в появлению нескольких rel=canonical на странице. Если ссылки в тегах указаны на разные URL, то, вероятнее всего, Google и другие поисковики просто проигнорируют ваши рекомендации.
Таким образом, все усилия по установке канонических страниц могут быть сведены на нет. Почаще проверяйте исходный код ваших страниц, чтобы убедиться в наличии только одной канонической ссылки.

Неправильное использование абсолютных ссылок

Распространенной ошибкой является указание канонической ссылки без протокола http:// или https:// , как показано на примере ниже:

< link rel = «canonical» href = «ururu.com/ololo.html» / >

< link rel = «canonical» href = «/ololo.html» / >

либо полный абсолютный путь с протоколом:

< link rel = «canonical» href = «http://ururu.com/ololo.html» / >

Использование тега вне блока head

Для корректного восприятия поисковыми системами, особенно это касается Google, тег rel=canonical должен находиться в рамках области head кода вашей страницы. Кроме того, данный тег стоит размещать настолько близко к началу HTML кода, насколько это возможно.

Канонические ссылки со страниц пагинации на первую страницу

Такое решение вполне дееспособно для борьбы с дублями. Однако, может негативно повлиять на индексацию страниц, ссылки на которые как раз и расположены на страницах пагинации. Например на странице http://example.com/dresses.html?page=3 расположены ссылки на 20 товаров - они не будут проиндексированы поисковым роботом непосредственно по ссылкам с этой страницы.

Тег canonical при использовании hreflang

Если вы внедряете hreflang на своем проекте, то обязательно убедитесь, что все канонические ссылки указывают на страницы этой же языковой версии. Несоответствие этому правилу может привести как к проблемам с ранжированием языковых версий, так и к неправильному пониманию поисковиками приоритетных для ранжирования дублирующихся страниц.

Неканонические ссылки в sitemap.xml

Помогает поисковому роботу понять какие страницы вашего сайта нужно индексировать и ранжировать в поисковой выдаче. Именно поэтому не стоит добавлять в карту сайта закрытые любым способом от индексирования либо неканонические страницы.

Использование rel=canonical для неидентичных страниц

Данный атрибут был разработан специально для указания приоритетной страницы среди страниц-дублей. Судя по всему, поисковики допускают определенную степень расхождения в контенте страницы. Но это абсолютно не значит, что можно ставить каноническую ссылку на просто схожую по тематике страницу.
Если Google заметит вас в неправильном использовании канонических ссылок, это может повлиять на его отношение к rel=canonical для всего вашего домена и тогда пострадают даже верно настроенные страницы.

Канонические ссылки (атрибут тега link rel canonical) позволяет указать какую именно страницу из группы похожих или одинаковых страниц нужно индексировать. Полезность данного инструмента сложно переоценить и глупо игнорировать. Ведь именно к правильному толкованию страниц сайта поисковыми системами, в значительной степени и сводится SEO сайта. Тем более, что канонические ссылки поддерживаются практически любой современной CMS вроде Joomla или WordPress.

Не дублируйте контент и ставьте правильные ссылки!

Канонический тег (rel=”canonical”) является довольно важным инструментом поисковой оптимизации. Зачастую он даже лучше, чем 301 редирект при работе с дублированным контентом.

Разберём более подробно этот тег.

Что плохого в дублированном контенте

Дублированный контент – это два одинаковых по своему содержанию документа. Когда Google видит дубль, он старается исключить его из индекса, т.к. по идее пользователь не захочет видеть один и тот же документ в поисковой выдаче несколько раз. Да и к тому же самому поисковику не хочется постоянно обрабатывать тысячи и даже миллионы дублированных страниц, тратя на это свои производственные мощности.

Проблема для веб-мастера состоит в том, что если одна и та же информация находится на разных страницах, то в выдаче будет только одна из этих страниц. Но url, который выберет Гугл, не всегда является наиболее оптимальным для пользователя, и не всегда является первоисточником.

Пока поисковик не определит первоисточник, результаты выдачи не будут удовлетворять целям первоначального автора контента. В данном случае канонический тег имеет ограниченную пользу, поскольку те, кто крадут ваш контент, скорее всего, не будут ставить теги.

С другой стороны, если дублирование происходит на вашем сайте, то тег будет как нельзя кстати. Даже если на вашем сайте будут ссылки на дублированный контент, ценность для выдачи будет составлять только страница-первоисточник. Таким образом, даже при наличии ссылок на несколько дублей, значимой для Google будет считаться только одна из этих страниц. И не пострадает.

Естественно, это не лучшее решение с точки зрения SEO. Но это не приведёт к каким-либо санкциям со стороны Гугла.

Что такое тег rel=”canonical”

Тег имеет следующий синтаксис: Таким образом Google и Bing поймут, что все дубли ссылаются на канонический адрес, указанный в теге. Гугл имеет чёткое представление по поводу использования данного тега:

Да, rel=”canonical” должен использоваться только для выбора предпочитаемой страницы при дублировании (незначительные различия в содержании допустимы).

Другими словами, используйте его только для борьбы с дублированным контентом. При использовании его для других целей вы можете быть уличены в поисковом спаме.

Проблемы дублированного контента

Реализуйте теги надлежащим образом на вашем сайте. Это убережёт вас от проблем дублированного контента, некоторые из которых связаны с системами управления сайтами (CMS):

  1. Tracking Codes . Некоторые системы требуют добавления переменных в конце url-адреса для обратных ссылок на ваш сайт. Формат может быть такой: www.example.com?tracking-variable или такой: www.example.com/example.htm?tracking-code. Проблема заключается в том, что поисковые системы разделяют адреса, даже если те различаются всего одним символом. Хотя Google и Bing и имеют в своём распоряжении технологии, которые помогают определять такие адреса, до сих пор возникает множество ошибок при их обработке. Интересно будет отметить, что некоторые ссылаются на ваш сайт, дабы получить взаимную обратную ссылку, используя данный метод. Канонический тег защитит вас от этого.
  2. Приставки к url . Как мы уже уяснили, любые два адреса, отличающиеся хотя бы одним символом, рассматриваются как отдельные страницы. И есть несколько случаев, когда приставки к адресам могут привести к дублированию контента. К ним относятся, например, дополнительный язык сайта (русская и английская версии страницы) или создание движком дополнительных страниц (ярко выражено в WordPress).
  3. Разбивка на страницы . Это когда сайт разбивается автоматически на несколько страниц с одинаковым контентом. Например, если у вас интернет-магазин и продукцию можно отсортировать по цвету товара или по его цене (при этом для результата сортировки генерируется отдельная страница с одинаковыми описаниями товаров).
  4. WWW . По большей части это не проблема, т.к. Google обычно правильно определяет адреса с www и без. Но до сих пор бывает такое, что поисковик индексирует как бы две версии сайта (example.com и www.example.com). В результате половина вашего контента проиндексирована с www, а другая половина – без www. Обычно это дело прописывается в robot.txt, но и канонический тег тут тоже может помочь.
  5. Если невозможно реализовать 301 редирект . Как ни странно, но в некоторых случаях у веб-мастера нет возможности реализовать 301 редирект, например, из-за ограниченного доступа к серверу. Канонический тег в данном случае является альтернативой, с той лишь разницей, что исходная страница будет продолжать существовать.

Но всё-таки, в соответствии с политикой Google, канонический тег это рекомендация, а не обязательное для исполнение правило. Эта опция поможет владельцам сайтов самостоятельно указывать, какую страницу Гугл должен считать канонической. Таким образом, для Google будет проще определить, какую страницу необходимо включить в индекс при дублировании контента.

Причин возникновения дублей контента может быть много: особенности CMS сайта, страницы с динамическими параметрами URL, сайт доступен по https://www.site.com/ и по https://site.com/ , http://site.com/ и так далее. Если не указать поисковику приоритетную — каноническую страницу с дублирующимся контентом, робот выберет ее на свое усмотрение и последствия могут быть неприятными, особенно для владельцев сайтов.

Страницы с UTM-метками

Необходимо настроить сервер так, чтобы при нахождении UTM-параметров в адресе страницы, отдавался код «200 ОК» и страница содержала абсолютную каноническую ссылку на URL этой страницы без UTM-метки.

Речь о следующих UTM-параметрах:

  • gclid;
  • utm_medium;
  • utm_source;
  • utm_campaign;
  • utm_content;
  • utm_term;
  • _openstat.

Так, страница «http://site.com/?utm_source=testk&utm_medium=test&utm_campaign=test » должна содержать каноническую ссылку: .

Страницы фильтрации

На страницах фильтрации следует в качестве канонических указывать сами страницы фильтрации.

Например, для страницы «http://site.com/category-1/filter-1/ » нужна ссылка: .

Иногда при переходе на новое доменное имя используется сервер, который не поддерживает переадресацию на своей стороне. В таком случае можно использовать междоменный атрибут rel="canonical" в элементе link.

Важно: на данный момент междоменный каноникал понимает только Google .

О чем следует помнить при простановке rel="canonical"?

  1. Ссылки в атрибуте следует ставить абсолютные — с http:// или https://. Так сокращается риск появления ошибок.
  2. Если на странице с дублирующимся контентом указываете на другую страницу как каноническую, не забудьте в той страницы также прописать ее как каноническую.
  3. Если на странице указаны несколько канонических адресов, поисковый робот проигнорирует их и определит каноническую страницу самостоятельно.
  4. Если канонической указана страница, отдающая код ответа 404, поисковый робот не сможет использовать данную рекомендацию.
  5. Чтобы избежать ошибок, не стоит использовать цепочки канонических страниц.
  6. Поисковые роботы воспринимают атрибут rel="canonical" не как строгую директиву, а как рекомендацию, то есть указанный URL может быть проигнорирован.
  7. При самостоятельном определении канонических страниц поисковая система Google отдает предпочтение страницам на https.

Выводы

В нашей практике бывали случаи, когда контент с сайта копировали полностью, вместе с внутренней текстовой перелинковкой и каноническими адресами. Поэтому атрибут rel="canonical" стоит указывать на всех страницах.

Особенно важно определять каноничность для:

  • страниц пагинации;
  • страниц с UTM-метками;
  • страниц фильтрации.

Это помогает бороться с дублированием контента и обезопасить сайт от копирования.

Канонический URL (canonical) позволяет указать поисковой системе, какая ссылка является предпочтительной для индексации. Настройкой canonical необходимо заниматься, если у вас на сайте имеются страницы с одинаковым содержанием. Ввиду особенностей CMS сайта могут автоматически создаваться страницы с одним и тем же контентом по разным адресам URL (более подробно читайте ниже). Появление подобных страниц возможно вследствие таких причин:

  1. Если вы написали одно и то же сообщение в разных темах блога, то есть вероятность автоматического создания еще одной страницы сайта.
  2. Например, у вас есть несколько доменов: http://article.example.com и http://blogs.example.com. И вы планируете размещать информацию сразу на обоих ресурсах. В таком случае размещаемый контент будет дублированным.
  3. Если была обновлена структура вашего сайта, после чего URL страниц сайта могли быть изменены.

Чтобы не допустить дублирования страниц сайта в поисковой выдаче, необходимо настроить канонические URL, после чего поисковик сможет определить, какую страницу нужно индексировать. Рассмотрим причины, из-за которых важно заниматься настройкой canonical:

  1. Если на разных страницах вашего сайта публикуется частично или полностью идентичная информация, то следует указать, какую страницу следует считать основной.
  2. Одна и та же информация, размещенная на разных страницах, затрудняет получение статистики о данных страницах.

Как настроить канонические адреса

Рассмотрим способы настройки «канонических» URL:

  1. Следует указать, какой URL считается основным. Сделать это можно при помощи атрибута rel="canonical" тега link. Например, на сайте присутствует несколько страниц с идентичным содержимым. Для того чтобы задать URL https://example.com/buyingcar в качестве основного, указываем на страницах с дублируемым контентом в блоке head кода страницы тег вида . В данной ситуации вы задаете главный URL, который в дальнейшем будет использован для просмотра сообщения о покупке автомобилей. Также эта страница будет показываться в результатах поисковой выдачи. Предпочтительнее задавать адрес сайта в абсолютном виде (https://example.com/buyingcar), избегайте относительных путей (/buyingcar).
  2. В карту сайта добавляем только канонические URL, в таком случае вы сможете сообщить поисковому роботу, какие страницы сайта вы считаете основными. При индексировании сайта поисковой робот не будет заходить на неканонические страницы, тем самым быстрее индексируя сайт.
  3. Для различных CMS существуют различные плагины, которые позволяют настроить канонические URL, например, для WordPress можно воспользоваться Yoast SEO .

Для OpenCart настройка атрибута canonical производится средствами CMS. Необходимо зайти в настройки товара и задать параметр SEO URL.

Для настройки canonical в Joomla нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel="canonical" (с указанием URL на страницу с настроенным ЧПУ).

Как проверить дублированный контент

Проверить, настроен canonical для страниц вашего сайта или нет, можно с помощью следующих инструментов:

1. Для проверки настройки canonical, открываем html-код страницы и проверяем наличие атрибута canonical у тега link (в блоке кода страницы).

Также проверить контент на наличие дублей можно с помощью операторов поиска, рассмотрим на примере Google. Для этого нужно ввести в поисковую строку site:имя_домена "запрос", в итоге аналогично поиску от Яндекса по результатам поисковой выдачи делаем вывод о наличии дублированного контента.

3. Еще один способ найти дублируемый контент – уникальность. В этом нам помогут специальные программы и сервисы, мы рассмотрим на примере сервиса text.ru. Для анализа необходимо добавить информацию со страницы вашего сайта в сервис и запустить проверку. В результате вы увидите, на каких сайтах в Интернете есть такой же текст, и на сколько процентов ваш текст совпадает с текстами других сайтов.

Итог

Грамотно настроенный canonical повышает эффективность работы и ускоряет индексирование сайта. Если у вас не получится самостоятельно это сделать, то вы можете обратиться к нашим специалистам , и мы сделаем настройку rel="canonical" для вашего сайта.

Мобильные ОС