Архив метки: X-Robots-Tag

Управление индексацией сайта посредством X-Robots-Tag

Большинство разработчиков довольно редко задумывается о SEO, но иногда появляются специфические задачи связанные с ним: например, информация отображаемая на странице не должна быть доступна для индексирования или же сохранена в кеше поисковика. До недавнего времени я в таких случаях использовал метатег robots, но на днях обнаружил более удобный его аналог в виде http-заголовка X-Robots-Tag. Google поддерживает его с лета 2007 года, Спутник тоже, а вот Яндекс до сих пор нет.

Читать далее