HTML приемы. Инструкции поисковым роботам при помощи мета тегов

Цитата от Google:

Метатеги — это отличный способ для вебмастера предоставить поисковым системам информацию о своем сайте. Метатеги могут использоваться, чтобы предоставить информацию всем типам клиентов, при этом каждая система обрабатывает только те метатеги, которые понимает, и игнорирует остальные.

Если вы хотите полностью закрыть доступ для роботов поисковых систем:


<meta name="robots" content="noindex, nofollow">

<!-- или -->

<meta name="robots" content="none">

<!-- или если вас заботит только Google... -->

<meta name="googlebot" content="noindex, nofollow">

Зачем это нужно?

Возможно, это какая-то частная URL вашего сайта, и она не может быть закрыта от поисковых роботов другими способами. Например, если для доступа к странице необходимо залогиниться, то эта страница полюбому закрыта от поисковых систем. Но, если это какая-то запутанная URL, кто знает, как поисковый робот с ней обойдется, поэтому, вам, возможно, захочется закрыть ее от индексации.

Результаты поиска по сайту — еще один пример такого поведения. Странно было бы увидеть результаты поиска на странице с результатами поиска. Так, темы WordPress в этом случае поступают следующим образом:


<?php if (is_search()) { ?>
  <meta name="robots" content="noindex, nofollow">
<?php } ?>

Можно немножко подправить эту инструкцию, чтобы сказать поисковым роботам, - эй, вы можете пройти по ссылкам на этой странице, чтобы продолжить индексировать сайт, но саму эту страницу не индексируйте!


<meta name="robots" content="noindex, follow">

Другие метатеги

Существуют и другие полезные метатеги. Например, поисковые системы, как правило, используют метатег description для предоставления описания страницы, помещая его содержимое под содержимым тега <title>:


<meta name="description" content="Описание страницы" />