Дублированный контент

Конкуренты могут сообщить о вас

Поисковые движки в дополнение к своей борьбе со спамом позволяют пользователям посылать сообщения о спаме. Например, компания Google предоставляет для сообщения о спаме специальную форму http://www.google.com/contact/spamreport.html. Опрос на круглом столе Search Engine Roundtable в мае 2008 г. показал, что 31 % респондентов сообщали компании Google о спамерских действиях своих конкурентов. Это означает, что сообщение от вашего конкурента – это реальный риск.

Кроме того, поисковые движки могут использовать и используют людей-рецензентов, которые делают рецензии по качеству. В 2007 г. произошла утечка конфиденциального документа компании Google под названием "Spam Recognition Guide for Raters" (который до сих пор доступен по адресуhttp://www.searchbistro.com/spamguide.doc). Это руководство описывает некоторые критерии для распознавания спамерского поведения в отношении поисковых движков, и в частности, является ли сайт "тонким партнером".

Как мы уже писали в разд. "Проблемы систем управления контентом (CMS)” главы 6, существует много способов создания дублированного контента. В основном он появляется не из-за действий спамеров, а из-за особенностей архитектуры web-сайта. Поэтому обычной реакцией поисковых движков на дублированный контент является его отфильтровывание, но не накладывание каких-либо штрафов на издателя.

Движки отфильтровывают такой контент, потому что не хотят показывать в результатах поиска множество копий одного и того же контента, поскольку пользователям это ничего не дает. Они не наказывают издателя, потому что огромное большинство этих ситуаций возникает непреднамеренно.

Однако есть три примечательных исключения.

• Нарушения авторских прав.

Реальное нарушение авторских прав, когда издатель без разрешения демонстрирует копию контента другого издателя.

• Сайты "тонких партнеров".

При таком сценарии издатель имеет разрешение от другого издателя, но контент не уникален. Обычно это сайт с партнерской сетью, который генерирует потенциальных клиентов или продажи (в основном путем предложения партнерской программы другим издателям).

Сайт с партнерской программой генерирует некий имеющий отношение к его предложению контент и распространяет его всем своим партнерам. Затем все эти сайты публикуют у себя идентичный (или очень похожий) контент. Проблема с поисковыми движками состоит в том, что здесь нет никакого уникального контента.

Такой партнерский сайт может создать сотни и тысячи страниц для работы с терминами вертикального поиска (с минимальными изменениями контента). Классический пример: создание сотен идентичных web-страниц, отличающихся только названием города (т. е. страницы имеют такие названия, как "Phoenix Oil Changes", "Austin Oil Changes", "Orlando Oil Changes" и т. д.).

• Массовое дублирование.

Это сайты, на которых имеется очень большое количество дублированного контента (даже если на это имеется разрешение) и они не являются тонкими партнерами. Неизвестно, какова пороговая величина (и вероятно, она с течением времени меняется), но наш опыт подсказывает, что сайты с 70 и более процентами дублированных страниц, скорее всего, будут подвергнуты штрафу.

Могут существовать и другие формы спамерского дублирования контента, которые мы здесь не указали. Они будут считаться спамом в том случае, если реализованы намеренно (т. е. тонкий партнер под это определение подпадает), а контент не представляет собой никакой ценности для Интернета.