В основе сети Интернет лежат ссылки. Именно ссылки, при помощи которых пользователь может переходить с одной веб-страницы на другую, делают Интернет тем, чем он является в настоящее время. Поисковые роботы-пауки всех поисковых систем "бродят" по этим ссылкам, анализируя их. Таким образом, если на сайте присутствуют какие-нибудь документы, на которые не ведут ссылки с других страниц, то поисковые системы никогда не узнают об этих документах, и они никогда не появятся в поисковой выдаче. Отсюда идет важный вывод — следует тщательнейшим образом отслеживать связанность страниц сайта друг с другом, т. е. необходимо иметь проработанную структуру сайта. И чтобы структура сайта оставалось целостной помогут следующие советы:
1. На сайте должна быть четкая структура ссылок. Каждая страница сайта должна относиться к своему разделу. Следует стараться, чтобы каждый документ был доступен по обычной ссылке, т. е. ссылке, которая создается при помощи HTML тега <a></a>. При этом стоит сказать, что время, затрачиваемое поисковыми роботами на индексацию внутренних страниц сайта, напрямую зависит и от того, насколько глубоко в структуре сайта находится данная страница. Здесь действует такая закономерность, чем глубже располагается страница, тем больше времени требуется роботу, чтобы включить ее в поисковый индекс.
Кроме этого, создавая межстраничные ссылки, необходимо обращать внимание на еще один немаловажный момент. Зачастую точкой входа на сайт является головная страница, так как запомнить название или домен сайта гораздо проще, чем адрес конкретной страницы, который бывает весьма замысловатым. Так вот, навигация по сайту должна быть организована таким образом, чтобы пользователь мог быстро сориентироваться и легко найти нужную информацию. Иначе он покинет сайт разочарованным и может больше не вернуться.
2. Не стоит забывать и о таком элементе как карта сайта. Обычно это отдельная страница с перечислением всех активных страниц сайт, выполненная в виде списка ссылок. Наличие карты сайта приветствуется поисковыми системами и облегчает анализ и индексацию страниц сайта.
3. Старайтесь, чтобы как можно меньше служебной информации попадало "на глаза" поисковым роботам. Различные страницы-дубли, страницы с результатами поиска по сайту, различные страницы со статистикой, предназначенной для отслеживания посещаемости и т.п. не предоставляют пользователю уникальной информации и воспринимаются поисковиками как помеха и отрицательно влияют на индексацию основного содержимого сайта. Поэтому их необходимо закрывать от индексирования в файле robots.txt.
4. У каждой страницы сайта должен быть свой уникальный адрес. Лучше всего, если по этому адресу можно было бы составить представление о содержимом данной страницы.
5. Ссылки на разделы сайта по возможности необходимо делать текстовыми. Это позволит поисковому роботу получить дополнительную информацию о том, какие материалы размещены в данном разделе.
6. Обязательно следите за корректностью, так называемых, symlink-ов. Избегайте бесконечно растущих URL. Помните, что страницы, в адресе которых присутствует множество повторов одного и того же токена, например, mysite.ru/user/user/user/user/ могут не попасть в поисковый индекс.
