Цитата от Google:
Метатеги — это отличный способ для вебмастера предоставить поисковым системам информацию о своем сайте. Метатеги могут использоваться, чтобы предоставить информацию всем типам клиентов, при этом каждая система обрабатывает только те метатеги, которые понимает, и игнорирует остальные.
Если вы хотите полностью закрыть доступ для роботов поисковых систем:
<meta name="robots" content="noindex, nofollow">
<!-- или -->
<meta name="robots" content="none">
<!-- или если вас заботит только Google... -->
<meta name="googlebot" content="noindex, nofollow">
Зачем это нужно?
Возможно, это какая-то частная URL вашего сайта, и она не может быть закрыта от поисковых роботов другими способами. Например, если для доступа к странице необходимо залогиниться, то эта страница полюбому закрыта от поисковых систем. Но, если это какая-то запутанная URL, кто знает, как поисковый робот с ней обойдется, поэтому, вам, возможно, захочется закрыть ее от индексации.
Результаты поиска по сайту — еще один пример такого поведения. Странно было бы увидеть результаты поиска на странице с результатами поиска. Так, темы WordPress в этом случае поступают следующим образом:
<?php if (is_search()) { ?>
<meta name="robots" content="noindex, nofollow">
<?php } ?>
Можно немножко подправить эту инструкцию, чтобы сказать поисковым роботам, - эй, вы можете пройти по ссылкам на этой странице, чтобы продолжить индексировать сайт, но саму эту страницу не индексируйте!
<meta name="robots" content="noindex, follow">
Другие метатеги
Существуют и другие полезные метатеги. Например, поисковые системы, как правило, используют метатег description для предоставления описания страницы, помещая его содержимое под содержимым тега <title>:
<meta name="description" content="Описание страницы" />
