Такой вопрос стоит перед многими владельцами сайтов, от полной индексации сайта во многом зависит посещаемость и популярность сайта. Но есть объективные причины почему сайта нет в поисковике.
Возможны несколько причин, по которым сайт не индексируется.
1. Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый быстрый робот у Яндекса. Если он не загружен, то добавляемая страница появляется в результатах поиска уже через 3 часа. Большинство страниц попадают в индекс не позже, чем через неделю с момента добавления.
2. В момент визита робота поисковика сайт был недоступен или имел очень большое время отклика. Если сервер «тормозит» не постоянно, то рано или поздно сайт попадёт в поисковик.
3. Некоторые поисковики (например, Google) индексируют только те сайты, на которые есть хотя бы одна внешняя ссылка с документа, уже проиндексированного данным поисковиком.
4. Некорректная настройка сервера. Самая распространённая ошибка среди любителей использовать .htaccess — в результате применения директив ErrorDocument или RewriteRule робот поисковика при обращении к robots.txt получает от сервера код отличный от 200(OK) или 404 (Not Found). Некоторых роботов (Rambler) это вводит в ступор и индексация не произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать ошибки: в случае использования ErrorDocument всегда создавать robots.txt хотя бы и пустой, в случае использования RewriteRule быть аккуратным и всегда проверять код ответа сервера.
5. Неправильно написанный robots.txt. При попытке запретить индексацию сервера для какого-либо робота под правило попадают и другие роботы. Как избежать ошибки? Всегда проверять правильность составления robots.txt.
6. Поисковик не может распознать ссылки на страницах сайта. Самый распространенный случай — все ссылки сделаны на JavaScript или на Flash. Некоторые поисковики неадекватно понимают редиректы. Наиболее «безопасен» в этом смысле Google — он отлично справляется как со ссылками на флэше, так и с редиректами, и лишь JS ему еще не совсем по зубам.
7. Сайт был забанен.
8. Проблемы у поисковика. Серьезные сбои редки, но случаются, и если избыточность аппаратуры оказывается недостаточной, часть индекса теряется. Кроме того, проблемы могут быть связаны с кластерной структурой поисковика.
9. Использование динамических страниц. Это будет раскрыто в отдельном пункте FAQ, а пока можно заметить, что динамические страницы индексируются нормально далеко не всеми поисковиками. Почему? Динамика несет два вида проблем. Первая — дублирование информации. Если для сайта URL вида …/page.php?par1=x&par2=y означает, как
правило, то же, что и …/page.php?par2=y&par1=x, то для поисковика это совсем другая страница. Особенно часто эта проблема возникает при отслеживании сессий посетителей — роботы поисковиков не используют cookies, и потому URL для них каждый раз меняется. Вторая проблема — робот может легко перегрузить сайт, который формирует страницы динамически.
10. Сайт находится в неиндексируемой зоне. У каждого поисковика есть своя «область действия», например, Яндекс и Рамблер охватывают русскоязычную часть интернета. Поэтому, если сайт не входит в соответствующие доменные зоны (например, su, ru, am, az, by, ge, kg, kz, md, tj, ua, uz для Яндекса; ru, su, ua, by, kz, kg, uz, ge для
Рамблера), то автоматическая индексация может не пройти. В таком случае необходимо написать письмо в службу поддержки поисковика с просьбой о включении сайта в индекс. Многие крупные поисковики чураются бесплатных хостингов с сотнями тысяч сайтов, равно как и редиректных служб (таких, как da.ru) и если ваша страница расположена на одном из подобных хостингов, индексации можно ждать вечно.
Понравился пост? Поделитесь им в социальных сетях. Спасибо!
Мечтаете о собственном домашнем бизнесе и ищете хорошую бизнес-идею? Тогда знакомьтесь с новым Курсом внимательно – возможно, вы уже нашли ее. Если вы давно ищите свой бизнес, перечитали горы книг, посетили сотни сайтов, но не нашли свою золотую жилу в бизнесе, не знаете как начать свое дело то Вы сегодня попали по нужному адресу. В курсе описано четко и без лишней «воды» все возможные варианты малого бизнеса. А как известно БОЛЬШОЙ бизнес начинается с МАЛОГО. Приобретая этот Курс, Вы получите в свое распоряжение 400 (!!!) уникальных технологий, изобретений и идей. 7 разделов общим объемом 4,5 ГБ, которые помогут Вам войти в мир бизнеса!
Как открыть свое дело интересует? Тогда вам сюда:
Кликните Сюда, Чтобы Узнать Все Подробности!