Редиректы

Удаление URL из индекса поискового движка

Использование защиты регистрационной записью/паролем

Принудительное предоставление форм

Сокрытие текста в аплетах Java

Сокрытие текста в изображениях

Как мы уже предупреждали ранее, основные поисковые движки пока еще плохо умеют читать текст в изображениях (и требующаяся для этого вычислительная мощность является серьезной преградой). Скрывать контент внутри изображений обычно не рекомендуется, поскольку он может оказаться неудобным для альтернативных устройств (в частности, мобильных) и совершенно недоступным для других (таких, как программы чтения с экрана).

Точно так же, как и текст в изображениях, контент внутри аплетов Java не может легко распознаваться поисковыми движками.

Если вы держите свой контент за предоставлением формы и никогда не делаете на него внешних ссылок, то ваш контент в поисковые движки не попадет (рис. 6.39).

Рис. 6.39. Использование нечитаемых пауками форм

Проблема начинается тогда, когда спрятанный за формами контент получает находящиеся вне вашего контроля ссылки. Например, когда блогеры, журналисты или исследователи решают сделать ссылку на страницы вашего архива без вашего ведома. Таким образом, несмотря на то, что предоставление форм может поставить поисковые движки в безвыходное положение, необходимо убедиться в том, что вся реально конфиденциальная информация имеет дополнительную защиту (например, при помощи robots.txt или метатега robots).

Защита паролем (любого типа) эффективно предотвращает доступ поисковых движков к контенту, точно так же, как и любой вид человеческой верификации (такой, как CAPTCHA – это поле, в которое надо вписать комбинацию букв и цифр, чтобы получить доступ). Основные поисковые движки не пытаются угадать пароль.

В большинстве из основных поисковых движков можно удалить URL из индекса. Для этого нужно сделать верификацию вашего сайта и использовать инструменты поискового движка. Например, Yahoo! позволяет удалить URL при помощи своей системы Site Explorer (http://help.yahoo.eom/l/us/yahoo/search/siteexplorer/delete/siteexplorer-46.html), а Google предлагает аналогичный сервис при помощи Webmaster Central (https://www.google.com/webmasters/tools/removals). Поисковый движок Bing компании Microsoft, вероятно, также начнет скоро поддерживать эту функцию.

Редирект используется с целью показать, что контент был перенесен из одного места в другое. Например, возможно, у вас был контент по адресуhttp://www.yourdomain.com/old.html, а вы решили перестроить свой сайт. В результате переноса ваш контент переместился на адресhttp://www.yourdomain.com/critical-keyword.html.

После реализации редиректа те пользователи, которые приходят на старые версии ваших страниц (вероятно, при помощи сделанной ранее закладки для этой страницы), будут посылаться на новые версии этих страниц. Без редиректа пользователь получил бы ошибку Page Not Found (404). При наличии редиректа web-сервер говорит агенту пользователя (браузеру или пауку), что тот должен взять запрошенный контент с нового URL.