Сложные web-сайты всегда имеют ошибки. Они случаются потому, что страницы переносятся, а издатель забывает сделать редирект старой страницы на новую, либо издатель делает ошибку в файле robots.txt и таким образом блокирует просмотр важных разделов своего сайта. Может также случиться, что кто-то делает ссылку на сайт, но реализует ее неправильно (ссылается на страницу, которая не существует, возможно, в результате описки).
Все эти проблемы легко диагностировать как в Google Webmaster Tools, так и в Bing Webmaster Tools. На рис. 9.33 показана страница Crawl Issues инструмента Bing WMT.
Рис. 9.33. Страница Crawl Issues в Bing
Вы видите, что Bing дает данные по страницам с кодом 404, по страницам, которые блокированы протоколом REP (это аббревиатура для названия протокола Robots Exclusion Protocol), по динамическим URL, которые могут создавать трудности для Bing, по зараженным вредоносным программным обеспечением страницам, а также по неподдерживаемым типам контента.
Google предоставляет аналогичные данные, но в них имеются значительные отличия (рис. 9.34).
Рис. 9.34. Ошибки индексирования из Google
Обратите внимание на дополнительные типы ошибок. Кроме того, если вы посмотрите на отчет по ошибке 404 из Google WMT, то у вас имеется возможность увидеть, какие страницы ссылаются на ту страницу, которая генерирует ошибку 404 (рис. 9.35).
Рис. 9.35. Отчет по ошибке 404 из Google
В отчетах обоих инструментов по ошибке 404 замечательно то, что вы можете найти те страницы своего сайта, которые были реализованы с неправильным URL, а еще можете определить, не ссылается ли кто-то на ваши страницы при помощи неправильного URL. В последнем случае (как мы уже советовали в главе 7) нужно сделать редирект 301 (для страницы, которая получает плохую ссылку) на правильную страницу и забрать эту легкую ссылку. Короче говоря, ошибки 404 дают основание для того, чтобы запросить обновление ссылок у тех сайтов, которые делают ссылки на старые URL.
Инструменты сторонних фирм (для ошибок просмотра)
Есть несколько превосходных инструментов сторонних фирм, которые покажут вам, как паук поискового движка видит ваш сайт. Один из них SEO-Browser (http://www.seo-browser.com). Применяйте этот инструмент для того, чтобы понять, как пауки поисковых движков видят ваши web-страницы. Это может быть полезно как при технической оценке сайта с точки зрения поисковой оптимизации, так и при отладке проблем с индексированием сайта. На рис. 9.36 показан моментальный снимок из SEO-Browser для начальной страницы сайта TripAdvisor (http://www.tripadvisor.com).
Рис. 9.36. Инструмент SEO-Browser
Этот отчет показывает, что web-сайт сообщает о том, что посетитель использовал неизвестный браузер. Может быть нужно разобраться, почему так происходит. Если вы посмотрите на начальную страницу Amazon в режиме Advanced, то увидите некоторые весьма интересные данные (рис. 9.37).
Рис. 9.37. Сайт Amazon в режиме Advanced
Представление Advanced дает широкий диапазон статистики (помимо вида самой web-страницы). Внизу рисунка вы видите, что Amazon предлагает версию страницы для экранного диктора.
Еще один превосходный инструмент SEOmoz Crawl Test Tool. Он предоставляет обширную статистику по любому web-сайту, который вы выберете для проверки. На рис. 9.38 показан небольшой образец выдаваемых им данных.
Рис. 9.38. Инструмент SEOmoz Crawl Test
Этот инструмент также дает подробное представление о самых важных страницах сайта, включая состояние индексирования в основных поисковых движках, включая самые важные ключевые слова, метаданные, а также количество внутренних ссылок на данную страницу.
Такие инструменты, которые дают представление о ваших страницах (или сайте) с точки зрения паука поискового движка, могут помочь вам быстро диагностировать проблемы вашего сайта.
