Блокировка метатегом robots

Блокировка файлом robots.txt

Выявление причин отсутствия просмотра

После того как вы поняли, что у вас есть проблема, нужно перейти к выявлению того, что ее вызывает. Рассмотрим некоторые самые часто встречающиеся причины.

Проверьте ваш файл robots.txt (http://www.yourdomain.com/robots.txt), чтобы понять, не блокируете ли вы доступ паукам к тем частям вашего сайта, которые они должны видеть. Эта ошибка встречается очень часто.

Инструменты Google Webmaster Tools и Bing Webmaster Tools предоставляют простые способы для того, чтобы увидеть, знают ли они о контенте, который блокируется от просмотра файлом robots.txt (рис. 10.3 и 10.4).

Рис. 10.3. Инструмент Google Webmaster Tools (ограничен файлом robots.txt)

Рис. 10.4. Инструмент Bing Webmaster Tools (блокирован REP)

Эти отчеты полезны тогда, когда у вас есть такой контент на сайте, который имеет ссылки на него (внутренние либо внешние), но поисковым движкам он не виден из-за файла robots.txt (и поэтому они не просматривают его).

Решение простое. Определите, какая строка в вашем файле robots.txt блокирует поисковые движки, и удалите ее (либо измените таким образом, чтобы контент больше не блокировался).

Метатег robots выглядит примерно так:

Как мы уже утверждали в разд. "Поставка контента и управление поисковыми пауками” главы 6, установка атрибута NoIndex говорит поисковым движкам о том, что данную страницу не разрешается включать в индекс. Понятно, что необходимо проверить, не сделали ли вы этой ошибки.

Кроме того, тег NoFollow говорит поисковым движкам о том, что не нужно передавать "сок ссылок" тем страницам, на которые есть ссылки на данной странице. Если все ссылки на вашем сайте на данный элемент контента имеют атрибут NoFollow, то вы не передаете на данную страницу никакого "сока ссылок". Это указывает поисковым движкам о том, что вы не цените данную страницу. В результате они не индексируют этот контент (если больше никто не ссылается на него без использования NoFollow).

Для исправления нужно выявить те места, где на вашем сайте есть метатеги robots, и удалить их. Обратите внимание, что значением по умолчанию для метатега robots является index, follow, так что нет необходимости применять метатег в том случае, когда вам нужно именно это значение. Просто убедитесь в том, что у вас нет таких метатегов robots, которые изменяют это значение по умолчанию.