Метатег robots

Метатег robots имеет три компонента: cache, index и follow. Компонент cache дает указание поисковому движку о том, может ли он хранить в публичном индексе движка страницу, доступ к которой осуществляется через ссылку cached snapshot в результатах поиска (рис. 6.34).

Рис. 6.34. Моментальный снимок экрана с кэшированным элементом в страницах SERP

Второй компонент index говорит движку о том, разрешается ли просматривать эту страницу и сохранять ее в каком-либо виде. Помеченная как NoIndex страница будет полностью исключена поисковыми движками. По умолчанию это значение равно index, что говорит поисковым движкам: "Да, просматривайте, пожалуйста, эту страницу и включите ее в ваш индекс". Таким образом, размещать эту директиву на каждой странице не нужно. На рис. 6.35 показано то, что делает робот поискового движка при обнаружении тега NoIndex на web-странице.

Рис. 6.35. Воздействие тега NoIndex

Робот по странице все равно будет ползать, и страница может по-прежнему аккумулировать и передавать "сок ссылок" другим страницам, но она не появится в индексах поисковых движков.

Последняя инструкция, которая имеется в метатеге robots, – это follow. Эта команда (подобно index) имеет по умолчанию значение yes ("ползать по ссылкам на данной странице и передавать “сок ссылок” между ними"). Применение NoFollow говорит поисковому движку о том, что ссылки на данной странице не должны передавать стоимость ссылок или подвергаться просмотру. В общем и целом неразумно использовать эту директиву как способ предотвращения перемещения по ссылкам. Поскольку люди все равно смогут попадать на эти страницы и смогут сделать ссылки на них с других сайтов, то NoFollow (в метатеге robots) мало что дает в смысле ограничения просмотра или доступа пауков. Единственное его назначение – предотвращение распыления "сока ссылок", что имеет весьма ограниченное применение, поскольку в 2005 г. был введен атрибут rel="nofollow" (который мы уже обсуждали), позволяющий размещать эту директиву в отдельных ссылках.

На рис. 6.36 дана схема поведения робота поискового движка при обнаружении метатега NoFollow на web-странице.

Рис. 6.36. Воздействие метатега NoFollow

Когда вы применяете метатег NoFollow на странице, то поисковый движок все равно просмотрит страницу и поместит ее в свой индекс. Однако все ссылки (и внутренние, и внешние) этой страницы не смогут передавать "сок ссылок" другим страницам.

Хорошим применением для NoIndex является размещение этого тега на HTML-странице с картой сайта. Эта страница создана для навигационной помощи пользователям и паукам поисковых движков, чтобы они могли эффективно обнаруживать контент вашего сайта. И, несмотря на то, что на некоторых сайтах эти страницы вряд ли могут получить хоть какой-то заметный рейтинг в поисковых движках, вы все равно хотите, чтобы они передавали "сок ссылок" тем страницам, на которые они ссылаются. Размещение на этих страницах NoIndex не позволяет включать эти HTML-карты в индексы (и проблема таким образом решается). Убедитесь в том, что вы не применяете метатег NoFollow на этих страницах или атрибут NoFollow в ссылках на эти страницы, поскольку это не позволит страницам передавать "сок ссылок".