Использование предоставляемых поисковыми движками инструментов
Все три основных поисковых движка активно сотрудничают с web-мастерами и издателями и предоставляют некоторые очень полезные инструменты для профессионалов в области поисковой оптимизации.
Несмотря на то, что мы уже много раз ссылались в этой книге на инструменты Google и Bing, о них стоит поговорить более подробно. Использование инструментов Webmaster Tools – это хороший способ увидеть, как поисковые движки воспринимают ваш сайт.
Во-первых, давайте выясним весьма популярное недоразумение. Создание учетной записи в Google Webmaster Tools или в Bing Webmaster Tools не предоставляет поисковым движкам никакой новой информации о вашем сайте. Не это является целью данных инструментов.
Вы можете убедиться в этом при настройке данных инструментов. Следует создать учетную запись Webmaster Tools как в Google, так и в Bing. Важная часть создания этих учетных записей – доказательство того, что сайт принадлежит именно вам. Для этого у вас есть два варианта:
• разместить специальный файл в корневом каталоге вашего web-сервера (как это указано поисковым движком).
Ни одно из этих двух действий не изменяет и не улучшает способности поискового движка получать доступ к информации о вашем web-сайте.
Цель этих инструментов – предоставить издателям данные о том, как поисковые движки видят их сайты. Это исключительно ценные данные, которые издатели могут использовать для диагностики возникающих на сайтах проблем. Мы рекомендуем всем издателям пользоваться обоими этими инструментами на всех web-сайтах.
Итак, рассмотрим оба эти продукта.
На рис. 11.2 показаны те данные, которые вы можете получить уже на начальном экране после входа под учетной записью в Google Webmaster Tools (http://www.google.com/webmasters/tools).
Рис. 11.2. Начальный экран инструмента Google Webmaster Tools
В отчете "Not found" имеются ценные данные. Вы можете получить доступ к ним, выбрав последовательность Diagnostics | Crawl Errors | Not Found (рис. 11.3).
Рис. 11.3. Отчет "Not found"
Вы увидите полный список таких URL (найденных роботом Googlebot где-то в Интернете), на которые ваш web-сервер ответил ошибкой 404 (вместо web-страницы). Как мы указывали в главе 7, иногда такое происходит потому, что другой издатель пытался неправильно сделать ссылку на вашу страницу.
Поэтому, чтобы получить эти ссылки, достаточно просто сделать редирект 301 с этих плохих URL на правильный URL. Если вы не можете определить правильный URL, то всегда сможете сделать перенаправление на начальную страницу сайта или на соответствующую товарную категорию. Однако сначала проверьте ведущие на неработающие страницы ссылки, чтобы убедиться, что это правильные ссылки.
Еще одна хорошая диагностическая тактика – посмотреть ошибочные URL в вашем файле Sitemaps (рис. 11.4).
Рис. 11.4. Отчет "Sitemap errors" из инструмента Google Webmaster Tools
При помощи этих данных вы можете проанализировать характер проблемы и устранить ее. На рис. 11.5 показано еще одно представление диагностических данных.
Рис. 11.5. Адреса URL из Google Webmaster Tools, которые ограничены файлом robots.txt
Показанная на рис. 11.5 ошибка встречается часто. Она происходит тогда, когда сайты по ошибке ограничивают доступ к адресам URL в файле robots. txt. Когда такое случается, этот отчет может стать просто даром небес. Отчет показывает страницы, на которые имеются ссылки в Интернете, но которые инструменту Google Webmaster Tools просматривать не разрешается.
Возможно конечно, что именно этого вы и хотели, и тогда здесь нет никакой проблемы. Но когда это не то, чего вы добивались, то такой отчет даст вам нужную информацию для исправления положения.
Инструмент Google Webmaster Tools также дает вам взгляд изнутри на потенциальные проблемы с вашими тегами метаописаний и вашими тегами заголовков (рис. 11.6).
Рис. 11.6. Отчет "Metadata errors" из Google Webmaster Tools
Например, если мы несколько углубимся в дублированные теги заголовков, то увидим показанный на рис. 11.7 экран.
Рис. 11.7. Дублированные теги заголовков в инструменте Google Webmaster Tools
Рисунок 11.7 показывает, что на сайте есть восемь дублированных тегов заголовков. Шесть из них находятся в блоге, а два из подкаста автора Neil Patel. Их следует изучить, чтобы понять, нет ли здесь проблем, которые можно устранить.
Теперь посмотрим на отчет "Top search queries" (рис. 11.8).
Рис. 11.8. Отчет "Top search queries" из инструмента Google Webmaster Tools
На рис. 11.8 показаны те запросы, в которых появлялся данный сайт (в левом столбце), и те запросы, в которых пользователи щелкали данный сайт (в правом столбце). Вы можете также увидеть данные о положении сайта в результатах поиска на данный момент. Обратите внимание, что эти данные очень ограниченные. Издатели могут получить более подробные данные по своим поисковым запросам из программного обеспечения для web-аналитики.
Можно взглянуть еще на один отчет – "Crawl stats" (рис. 11.9).
Рис. 11.9. Отчет "Crawl stats" из инструмента Google Webmaster Tools
Графики на рис. 11.9 выглядят нормально. Однако если вы увидите внезапный провал, который сохраняется, то это будет означать наличие проблемы.
Конечно, одним из самых важных отчетов инструмента Google Webmaster Tools является тот, который показывает ссылки на сайт (рис. 11.10).
Рис. 11.10. Отчет инструмента Google Webmaster Tools по указывающим на сайт ссылкам
Этот отчет – единственный способ получить хорошее представление о тех ссылках, которые Google видит как ведущие на сайт. Кроме того, вы можете скачать этот отчет в формате электронной таблицы, что облегчает работу с этими данными. Последний моментальный снимок из инструмента Google Webmaster Tools (рис. 11.11) показывает меню настроек.
Рис. 11.11. Меню настроек инструмента Google Webmaster Tools
Рассмотрим смысл этих настроек.
• Geographic target.
Если данный сайт нацелен на пользователей из определенной местности, то web-мастера могут дать Google информацию, которая поможет определять, как этот сайт будет выглядеть в результатах специфичного для страны поиска, а также они могут улучшать результаты поиска Google для географических запросов.
• Preferred domain.
Предпочитаемый домен – это тот домен, который web-мастер хочет использовать для индексирования страниц сайта. Если web-мастер указывает предпочитаемый домен как http://www.example.com и Google находит ссылку на этот сайт, которая выглядит как http://example.com, то Google будет трактовать ее так, как будто она указывает на http://www.example.com.
• Crawl rate.
Скорость просмотра влияет на скорость запросов робота Googlebot во время просмотра. Она не влияет на частоту просмотра роботом данного сайта. Google определяет рекомендуемую скорость просмотра в зависимости от количества страниц web-сайта.
• robots.txt test tool.
Инструмент тестирования файла robots.txt (он не показан на рис. 11.11, но попасть к нему можно через Site Configuration → Crawler Access → Test robots.txt) – это также исключительно ценный инструмент. Он позволяет вам протестировать ваш файл robots.txt при помощи тестовых URL с вашего сайта (перед тем, как включить этот файл в работу).
