Навигация по сайту – это то, чему web-проектировщики всегда уделяли значительное внимание (с самого возникновения web-сайтов). Еще до того, как поисковые движки стали такими важными, навигация играла существенную роль. Она помогала пользователям найти то, что они хотели. И сейчас она играет важную роль в том, чтобы поисковые движки поняли ваш сайт.
Пауки поисковых движков должны суметь прочитать и интерпретировать код вашего web-сайта, чтобы правильно просмотреть и проиндексировать содержимое ваших web-страниц. Не путайте это с правилами таких организаций, как консорциум W3C, который выпускает указания по структуре HTML. Следование указаниям W3C вполне может быть хорошей идеей, однако огромное большинство сайтов не выполняет эти указания, так что поисковые движки обычно просто пропускают нарушения этих правил (если паукам удается проанализировать этот код).
К сожалению, существуют такие способы отображения контента и навигации на web-страницах, которые работают для человека, но невидимы (или трудно различимы) для пауков поисковых движков.
Например, есть множество разных способов встраивания контента и навигации в состав страниц web-сайта. По большей части они разработаны для людей. Простой HTML-текст и HTML-ссылки (например, начальная страница Alchemist Media, рис. 6.12) одинаково хорошо работают как для людей, так и для пауков поисковых движков.
Рис. 6.12. Пример страницы с простыми текстом и текстовой ссылкой
На многих сайтах есть функции поиска, являющиеся специальными поисковыми движками, которые индексируют контент сайта и предоставляют к нему доступ.
Это довольно популярный способ помощи пользователям, чтобы они могли быстро найти дорогу по сложному сайту. Например, web-сайт Pew Internet (http://www.pewinternet.org) предоставляет поиск по сайту в правом верхнем углу. Это отличный инструмент для пользователей, но поисковые движки им блокируются. Поисковые движки при своей работе только просматривают структуру ссылок Интернета, а не заполняют формы и не пытаются делать случайные запросы в полях поиска. Таким образом, любой контент, доступ к которому можно получить исключительно через поиск по сайту, останется невидимым для Google, Yahoo! и Bing.
Формы – это популярное средство интерактивности. Самая простая из них форма "свяжитесь с нами", которая имеется на многих web-сайтах.
К сожалению, пауки не заполняют и не отправляют такие формы. Таким образом, доступный пользователям этих форм контент является недоступным для поисковых движков. В случае формы "свяжитесь с нами" это не имеет большого значения, но формы других типов могут привести к более серьезным проблемам.
Тем web-сайтам, которые имеют скрытый за экранами регистрации контент, придется либо предоставить текстовые ссылки на этот контент (что делает ненужным сам экран входа), либо реализовать First Click Free (обсуждается далее в разд. "Поставка контента и управление поисковыми пауками” этой главы).