XML Sitemap

Компании Google, Yahoo! и Microsoft поддерживают протокол, известный как XML Sitemap. Google первой объявила его в 2005 г., а затем Yahoo! и Microsoft в 2006 г. согласились поддержать этот протокол. При помощи протокола Sitemap вы можете снабдить поисковые движки списком всех URL, которые вы бы хотели проиндексировать.

Добавление URL в файл Sitemap вовсе не является гарантией того, что этот URL будет просмотрен пауком или проиндексирован. Однако с его помощью можно просмотреть и проиндексировать те страницы, которые иначе не обнаруживаются и не индексируются. Кроме того, Sitemap помогает тем страницам, которые были переведены во вспомогательный индекс Google, вернуться обратно в главный индекс.

Эта программа является дополнением (а не заменой) обычного просмотра поискового движка по ссылкам. Преимущества Sitemap в следующем:

• для страниц, о которых поисковые движки уже знают вследствие регулярного их просмотра, используются предоставляемые вами метаданные, такие как дата последней модификации контента (lastmod date), частота изменений страницы (changefreq);

• для страниц, о которых движки не знают, используются предоставляемые вами дополнительные URL (для улучшения охвата просмотром);

• для тех URL, которые, возможно, имеют дубликаты, движки могут использовать данные Sitemap для выбора канонической версии;

• верификация/регистрация карт Sitemap может означать позитивный сигнал доверия/авторитета;

• эффект Sitemap в смысле просмотра/включения может оказывать позитивное воздействие второго порядка, как, например, улучшение рейтингов или повышенная популярность внутренних ссылок.

Инженер компании Google, который в форумах фигурирует как GoogleGuy (известный также как Matt Cutts, руководитель команды Google по web-спаму), объяснил протокол Sitemap компании Google следующим образом:

"Представьте себе, что на вашем сайте есть страницы А, В и С. Мы находим страницы А и В при помощи нормального просмотра по вашим ссылкам. Затем вы строите Sitemap и перечисляете в списке страницы В и С. Теперь появляется шанс, что мы просмотрим и страницу С, но мы этого не обещаем. Мы не выбросим страницу А только потому, что вы не включили ее в список вашей Sitemap. И само включение в список страницы, о которой мы не знали, не гарантирует того, что мы просмотрим ее. Но если по какой-то причине мы не видим никаких ссылок на С, либо мы знаем о странице С, но URL был отвергнут из-за слишком большого количества параметров или по другой причине, то появляется шанс, что мы просмотрим страницу С".

Sitemap использует простой формат XML, о котором вы можете прочитать по адресу http://www.sitemaps.org. Sitemap – это полезный, а в некоторых случаях просто необходимый инструмент для вашего web-сайта. В частности, если у вас есть причина думать, что сайт не проиндексирован полностью, то Sitemap может помочь вам увеличить количество проиндексированных страниц. По мере того, как сайты растут в размерах, ценность файлов Sitemap существенно увеличивается (поскольку на новые включенные в них URL поступает дополнительный трафик).