Движки будут улучшать просмотр

Еще больше просматриваемого контента и типов контента

Акцент в этой книге делался в основном на снабжении пауков поисковых движков текстовым контентом, семантически размеченным при помощи HTML. Однако поскольку поисковые алгоритмы развиваются в отношении способов сбора, анализа и интерпретации данных, то в страницы результатов поиска все больше и больше интегрируются документы менее доступных типов (такие, как мультимедиа, контент за формами, отсканированные исторические документы). Эта тенденция усиливается также повышением спроса и доступности.

Поисковые движки преодолевают некоторые традиционные ограничения просмотра. Они начинают работать с контентом таких типов, которые они раньше не могли просматривать и интерпретировать. Например, отчеты середины 2008 г. показывают, что Google находит ссылки внутри JavaScript (http://www.seomoz.org/ugc/new-reality-google-follows-links-in-javascript-4930). Безусловно, существует вероятность того, что поисковые движки могут начать выполнять JavaScript (чтобы найти тот контент, который в него встроен).

В июне 2008 г. компания Google объявила, что она просматривает и индексирует Flash-контент (http://googlewebmastercentral.blogspot.com/2008/06/improved-flash-indexing.html). В частности, в этом объявлении было указано, что Google находит внутри контента текст и ссылки. Однако при работе с Flash-контентом были и существенные ограничения. Например, просмотр работал только с такими реализациями Flash, которые не используют внешних вызовов JavaScript (а это делают многие системы на основе Flash).

Возможно, самой большой проблемой является тот факт, что Flash, по сути, имеет нетекстовый характер. По существу он похож на любой другой формат видео, в котором нет необходимости использовать много текста, а это ограничивает количество интерпретируемого поисковыми движками материала. И пусть это шаг вперед, но, тем не менее, людям, которые хотят создавать сайты полностью на Flash, придется немного подождать (до тех пор, пока социальные сигналы не станут более сильным фактором поискового ранжирования).

Еще одно серьезное историческое ограничение поисковых движков – это работа с формами. Классический пример – поле поискового запроса на web-сайте. Поисковому движку нет смысла вводить случайные поисковые запросы только для того, чтобы увидеть, какие результаты выдаст поиск. Однако есть и другие примеры использования более простых форм, таких как заполняемая пользователем форма для получения доступа к скачиванию некой статьи.

Поисковый движок может попробовать заполнить такую форму (возможно, в соответствии с неким протоколом, в котором определены правила для получения доступа к подобному контенту так, чтобы он мог проиндексировать его и включить в свои результаты поиска). В настоящее время подобными простыми формами изолировано огромное количество ценного контента, а определение такого протокола вполне реально (хотя это нелегкая задача). Компания Google утверждает, что она имеет эту возможность, но будет использовать ее только на очень важных и недоступных сайтах (http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html). Существуют и другие сценарии, когда поисковые движки предоставляют формы и получают доступ к недоступному контенту.