Большинство разработчиков довольно редко задумывается о SEO, но иногда появляются специфические задачи связанные с ним: например, информация отображаемая на странице не должна быть доступна для индексирования или же сохранена в кеше поисковика. До недавнего времени я в таких случаях использовал метатег robots, но на днях обнаружил более удобный его аналог в виде http-заголовка X-Robots-Tag. Google поддерживает его с лета 2007 года, Спутник тоже, а вот Яндекс до сих пор нет.
Отправлять этот заголовок можно из PHP, можно с помощью Apache. Заголовок определяется в формате X-Robots-Tag: [botname:] directive[, directive]. В следующем примере страницу разрешается индексировать, но запрещается хранить закешированную версию.
header('X-Robots-Tag: index, noarchive', true);
Список поддерживаемых директив:
all — определяет что никаких ограничений для сканирования и индексирования нет. Эта директива определена как значение по умолчанию для данного заголовка.
noindex — запрещает индексирование и кеширование страницы.
nofollow — запрещает переходить по ссылкам с этой страницы.
none — эквивалент совместного использования директив noindex и nofollow.
noarchive — запрещает Google кеширование страницы, а так же показывать ссылку «Сохранено в кэше» для страницы в результатах поиска.
nosnippet — запрещает отображать сниппет в результатах поиска.
noodp — запрещает использование метаданных из ODP/DMOZ для альтернативного описания.
notranslate — не предлагать переводить страницу в результатах поиска.
noimageindex — запрещает индексирование изображений на странице.
unavailable_after: [RFC-850 date/time] — запрещает отображать страницу в результатах поиска после определенной даты; дата должна быть определена в формате описанном в RFC 850.
В качестве botname можно указать googlebot или otherbot.
Ссылки по теме: