Зачастую сайты с прекрасным уникальным контентом оказываются труднодоступными для пользователей поисковых систем только лишь потому, что их разработчики в свое время не позаботились о том, насколько корректно эти сайты смогут проиндексировать и отранжировать поисковые машины. Ниже рассмотрим наиболее типичные ошибки и недочеты, препятствующие корректной индексации и ранжированию сайтов в поисковых машинах. Эти ошибки можно условно разделить на 3 большие группы:

1. Использование конструкций, затрудняющих корректное индексирование документов
2. Засорение индексов поисковых машин дубликатами страниц
3. Ошибки, препятствующие наиболее полной и быстрой индексации и переиндексации сайта

Рассмотрим их подробнее.

1. Использование конструкций, затрудняющих корректное индексирование документов.
Эти ошибки могут привести к тому, что поисковые системы не смогут проиндексировать некоторые страницы сайта полностью или частично, а также не смогут учесть некоторые ссылки между страницами сайта.

Java-script, Vbscript

Поисковые системы не исполняют скрипты, исполняемые на стороне клиента. В противном случае их исполнение резко повысило бы нагрузку на сервера роботов. Ни Java-script, ни Vbscript на сегодняшний день не индексируются поисковыми системами. Поэтому роботы не могут ни проиндексировать текст, ни найти ссылки, выполненные на Java-script или Vbscript. Последнее может служить препятствием для индексации некоторых страниц сайта (поисковые роботы их просто не смогут найти по ссылкам) и распределению показателей авторитетности внутри сайта. Однако, при умелом использовании, с помощью подобных ссылок можно манипулировать распределением показателей авторитетности по вашему усмотрению.

Тэг

Ещё проще скрыть текст или ссылки можно с помощью тэга . Правда, не от всех поисковиков. Этот тэг - исключительно отечественная разработка. Его учитывают всего две поисковые системы - Яндекс и Рамблер. Код расположенный внутри этого тэга, в том числе и ссылки, не индексируется этими поисковыми системами. Поэтому надо избегать использования этого тега на страницах сайта, если Вы хотите, чтобы содержимое страницы было полностью проиндексировано. Наиболее типичной ошибкой является использование этого тега для закрытия для индексации элементов навигационного меню при использовании на сайте локального поиска, работающего на поисковом движке mnoGoSearch, также поддерживающей этот тег. Опять-таки, при умелом использовании, с помощью этого тега можно манипулировать распределением показателей авторитетности по вашему усмотрению или концентрацией ключевых слов.

Flash

Также как и скрипты, Flash до недавних пор не индексировался поисковыми системами и вся эта "красота" не попадала в базы поисковых систем. Однако, в последнее время некоторые поисковые машины (в частности, Рамблер и Яндекс) заявили об индексации Flash. Тем не менее, я бы не рекомендовал широкое использование этой технологии, если вы хотите, что бы ваши сайты хорошо ранжировались поисковыми машинами.

Фреймы

При первоначально кажущейся привлекательности использования фреймов на сайте, на поверку они оборачиваются только проблемами. И дело не только в том, что на каждой странице необходимо скрипты, которые в этом случае загружают всю фреймовую структуру сайта и открывают в одном из фреймов ту страницу, на которую посетитель пришел первоначально. Фреймовые структуры более медленно индексируются. Неясно, как распределяется во фреймах показатели авторитетности. Но если уж вам довелось работать с таким сайтом и нет возможности отказаться от фреймов, то используйте тэг