Почему Яндекс не любит ваш сайт?

Всем привет!

Сейчас думаю, что лучше было бы назвать эту статью немного по-другому, например,   «Почему Яндекс обходит ваш сайт стороной?» Ну да ладно. От этого суть повествования абсолютно не поменяется, поэтому продолжим.

Наверное многие читающие сейчас эти строки имеют свои сайты, и уж точно большинству из них знакома такая ситуация, когда ваш сайт очень плохо индексируется роботами поисковых систем. Особенно это относится к поисковой системе «Яндекс», поскольку «Google» в этом плане более шустрый  и его роботы гораздо быстрее и полнее находят и индексируют новые сайты.

Причины плохой индексации сайта  могут быть самые разные – неуникальный контент,  долгая его загрузка, фильтры, наложенные ПС и множество других самых разнообразных  причин. И если вы делаете ГС (гамно-сайты), чтобы барыжить продажными ссылками или доры для слива трафика на партнерские программы, то тут всё понятно. Но  если вы уверены, что у вас самый что ни на есть настоящий СДЛ  (сабж для людей), без сомнения нужный и чрезвычайно полезный для всех ресурс, да  вот  беда, никак он не хочет залазить в индекс поисковых систем, хоть ты плач.

Представьте себе такую ситуацию – сделали вы новый  сайт, заказали к нему оригинальный дизайн-шаблон, наполнили уникальным  контентом.  Провели внутреннюю и внешнюю поисковую  оптимизацию, в общем, сделали всё то, что обычно делают в таких случаях.

Смотришь и душа  прямо радуется.

Но вот проходит месяц, два, три, а робот яндекса упорно не хочет посещать ваш сайт, хотя к этому моменту гугл давным-давно проиндексировал ваш сайт вдоль и поперёк.  Или, другой пример, ваш сайт был успешно проиндексирован всеми существующими поисковыми системами, прочно сидел как в Гугле, так и Яндексе, но вот в один прекрасный момент вы чекаете выдачу и видите резкое снижение позиций или хуже того, страшную  для любого веб-мастера и оптимизатора  фразу:

Искомая комбинация слов нигде не встречается.

Первая мысль, которая приходит в голову,  «сайт попал под АГС», не так ли?

То есть по какой-то, одному ему известной причине, Yandex наложил на вашего кормильца какой-либо фильтр. А фильтров у поисковых систем сейчас ой как много. [original:seo-semki.ru]

Если эта картина вам знакома, то  читаем далее.

Рассматривать все  причины выпадения из индекса и плохой индексации сайта мы сейчас не будем, как и рассматривать всё множество различных фильтров, существующих на сегодняшний день у ПС, которые могут привести  к такой ситуации, а рассмотрим одну простую и конкретную причину – Яндекс не индексирует ваш сайт, потому что его поисковых роботов …  блокирует ваш хостинг-провайдер.

Да-да, именно так плохая индексация веб-страниц и снижение, а то и полное выпадение их из поисковой выдачи может быть связано не только с некачественным контентом и переоптимизацией сайта, но и  с такой невероятной,  как кажется на первый взгляд,  причиной, как блокировка хостингом ip-адресов поисковых ботов  Яндекса.

Многие вебмастера не верят в такое, говорят, что не может хостинг-провайдер забанить паука яндекса.  Мол, и клиенты сразу шумиху поднимут, что вылет из индекса обусловлен десятком других факторов и что такого просто не может быть, потому что не может! Весомая аргументация, не так ли?

Но как же дела обстоят на самом деле?

А на самом деле несложный поиск приведет нам целую кучу фактов, подтверждающих вышесказанные слова. Вот только некоторые из подобных отзывов:

- Столкнулся с ситуацией, когда  хостер забанил IP-адрес робота поисковой системы Яндекс.  В результате этого поисковик  выкинул все страницы  сайта из индексации.

- Причина оказалась в том, что  хостер забанил бота яндекса за слишком высокую нагрузку.

- В сапорте сидят олени.  У них  два фильтра, один  посмотрели, а второй забыли. Ip-адрес  был заблокирован.

- Было такое, отнекивались до последнего. Потом подтвердилось, что адрес в бане был. Так что пишите снова хостеру, пусть проверяет!

- Да, так и оказалось, заблокировали робота.

- Чудным образом заблокировали поисковый робот Яндекса, после чего  сайт выпал из поисковой выдачи.

-  Фаервол хостера расценил запросы Яндекса как ДДОС-атаку и заблокировал ай-пи яндекс-бота. После обращения к нему  хостер добавил указанный ай-пи в белый список, однако не исключает в будущем подобной блокировки с других IP.

И это далеко не полный список таких отзывов,  данную информацию вы и сами без труда можете найти через поиск.

А предыстория здесь такова. Есть один знакомый, у которого на хостинге находится несколько небольших сайтов. Один покрупнее, остальное – мелочь. Тот, который покрупнее, существует несколько лет, в индексе Гугла сидит давно и прочно, в Яндексе – отсутствует.  Данной ситуации особого значения никто не придавал, камни не метал. Отсутствие сайта в Яндексе объяснялось просто – наложен фильтр АГС за размещение на страницах некоторых ссылок платников (партнерских программ) и не всегда уникальный контент.

Остальной мелочевке внимания не уделялось в силу их молодости и других причин. Но вот знакомый решил перенести парочку проектов на другой хостинг. И проверяя их работоспособность  отметил тот факт, что не только основного сайта нет в выдаче яндекса, но и второго также. Дальше – больше, проверив остальные сайты, он был ошеломлен – ни один из исходных проектов не был проиндексирован в поисковой системе  Yandex,  хотя в  Google все чувствовали себя просто прекрасно.

И даже после этого подозрения хостинг ещё не вызывал. Человека заинтересовал следующий вопрос: Почему все сайты одного хостера не индексируются в Яндексе? И вот тогда-то и прозвучал  первый тревожный звонок касательно хостера – одна из первых ссылок указывала именно на истинную причину плохой (а точнее никакой) индексации.

Далее мы начали вместе проверять данный факт и узнали много интересного. Честно говоря, я и сам с трудом сначала в это поверил – как такое вообще может быть!? Но оказалось что очень даже может – при этом сапорт хостинга, как правило, не чувствует за  собой абсолютно никакой вины и даже не извиняется. А ведь и правда, что ему волноваться – ведь это не его сайты вылетели из индекса яндекса, потеряв некоторую (зачастую – большую)  часть трафика.

А вот ещё информация для размышления. Проанализировав данную проблему мы выявили следующие хостинг-компании, которые были замечены в том, что их настройки блокируют доступ поисковым паукам  к сайтам клиентов:

naunet.ru

best-hoster.ru

masterhost.ru (несколько подобных сообщений)

hostgator.com

besthosting.ua

ohoster.ru (слияние с хостингом domen-hosting.net)

ukraine.com.ua (не знаю как с аккаунтами клиентов, но у самого хостера явно проблемы с доступом к сайту)

На снимке:

Время ожидания соединения истекло

Время ожидания ответа от сервера www.ukraine.com.ua истекло.

Возможно, сайт временно недоступен или перегружен запросами. Подождите некоторое время и попробуйте снова.

friendhosting.net (забанен на сёрче)

hostlife.net (на сёрче  вообще в чёрном списке – поскольку место названия домена отображаются звёздочки)

hostpro.ua

Вот далеко не полный список таких доменов, собранных  буквально за один день. А самое интересное тут знаете  что?

Читать продолжение - Хостинг блокирует поискового робота