Почему хостинг блокирует поискового робота

Пятница, 19 Июл 2013 23:17

Почему хостинг блокирует роботов Яндекса

Начало – Почему Яндекс не любит ваш сайт?

Что большая часть этих хостингов – украинские! Да вы и сами можете это прекрасно видеть из их названия (доменная зона .ua)

Я не знаю, как это объяснить, но факт остается фактом. Неужели их поддержка менее квалифицированная, чем в других странах?

Кстати, никогда не задумывались над тем, почему некоторые хостеры так часто меняют дизайн сайта, что здесь –  тяга к прекрасному или же стремление скрыть какие-то свои промахи?

У вас никогда не было такого чувства дежавю – заходите на казалось  бы знакомый сайт, а там всё новое, дизайн, навигация и все дела. Ловишь себя на мысли, а тот ли это хостинг вообще, или какой-то другой, с похожим или созвучным названием.

А если хорошо поискать, то можно найти в поиске старые картинки и убедиться, что это тот же самый хостинг, только уже  с полностью переработанным дизайном.

Но это так, к слову.

Далее. Выяснилось, что были заблокированы такие IP-адреса Яндекса  как

95.108.244.253

87.250.253.243

Подсети

77.88.28.248

77.88.41.252

178.154.234.125

178.154.178.248

И множество-множество других…

Мало того, если вы не знали до сих пор, так теперь будете знать, что именно Яндекс имеют самую большую  коллекцию поисковых роботов. Вот что написано на официальной странице поисковой системы: http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logs

IP-адресов, с которых «приходят» роботы Яндекса, тоже много, и они часто меняются. Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на их основе.

На странице есть и информация о поисковых роботах, которая также  периодически меняется.

И вот далеко не полный список таких роботов: основной индексирующий робот; индексатор картинок; робот, определяющий зеркала сайтов; робот, индексирующий пиктограммы сайтов (favicons); робот, обращающийся к странице при добавлении ее через форму «Добавить URL»; обращающийся при открытии страницы по ссылке «Найденные слова»; робот, индексирующий xml-файлы для поиска по блогам и многие другие. Кстати, есть даже поисковый робот Bond, James Bond (version 0.07), который официально нигде не упоминается. Этот робот заходит на сайты из подсети Яндекса, Referer не передает и картинки не загружает, а лишь выборочно ходит по страницам. Есть мнение, что его цель – проверка веб-сайтов на различные нарушения, таких как клоакинг (подмена страниц).

Как  же можно узнать,  что хостер забанил ip робота яндекса?

[original:seo-semki.ru]

Ну, во-первых, можно написать письмо Платонам (в поддержку Яндекса). Если проблема из-за этого, то  они так и напишут, то есть в ответ вы получите следующее письмо:

«Здравствуйте, [Ваше_имя]

Проблема с индексированием Вашего сайта, возможно, связана с тем, что Ваш хостер заблокировал IP нашего робота. Попробуйте самостоятельно уточнить у него, не был ли забанен IP [ip-address] при попытке проиндексировать Ваш сайт».

Как понять, что хостер забанил роботов Яндекса

Во-вторых, мы сделали следующее. Фишка (как сейчас любят говорить) заключается в следующем. Нужно определить, какие ещё  сайты (других людей) есть на этом сервере, ip виртуального хостинга   и проверить  их.  И если они есть в индексе,  то тут возможно не всё ещё так печально, ну а если их тоже нет в индексе Яши, а сайты на ваш взгляд – истинные сдл,  то тогда…  Думаю, объяснять не надо.

Проверить сайты на одном ip можно с помощью специальных сервисов, например

2ip.ru/domain-list-by-ip или

ip-ping.ru/siteip.

Какой же  вывод из всего этого можно сделать?

Каждый вправе решать сам. Но моё решение однозначное  – при любой подобной ситуации следует немедленно уходить от данного хостера, так как никто вам не гарантирует, что такая ситуация больше не повторится.

Да вы и сами можете в этом убедиться после таких фраз, приведенных на форуме forum.searchengines.ru:

«Если вы знаете IP ботов Яндекса обратитесь в службу техподдержки и мы проверим, не блокируется ли такой IP» и «ІР-адрес уже добавлен в белый список, но Вы  понимаете, что ІР ботов Яндекса  много и всех их добавить не получится».

Как вы думаете, что проще постоянно отслеживать логии и смотреть, доходят ли роботы яндекса до вашего сайта, а потом переписываться с суппортом  или проще раз и навсегда сменить хостинг-провайдера. Я думаю, ответ очевиденsmile.

Тем более, учтите тот факт, что Яндекс – солидная компания, а не какая-нибудь там полулегальная, полуподвальная  кустарная мастерская, где студенты первого курса клепают на коленках шаблоны под заказ.

У них море выделенных серверов, множество различных  сервисов, которые используют различных поисковых роботов – пауков (боты). Все они естественно имеют самые разные ай-пи адреса. И блокировать их все абсолютно нереально. Кроме того тратить часть своей жизни на постоянную переписку с саппортом, также неразумно.

Конечно никто не сомневается,  что такая  блокировка происходит неспециально (ну если только какой-то проштрафившийся сотрудник хостинга не решил таким образом насолить своей компании),  а в автоматическом режиме скрипты хостинга или настройки файрволла  блокируют подозрительный трафик, но принимать роботов яндекса за ddos-атаку это уж слишком. Считается, что в таком случае следует уходить как можно скорее, поскольку если простые боты перегружают сервера компании, представьте, что от них останется в результате настоящей ддос-атакиsmile.

И проверяйте хоть изредка работоспособность и индексацию ваших доменов. Если самому лень или некогда, можно делать это в автоматическом режиме.

Для этого  существуют целые сервисы проверки работоспособности веб-сайтов,  при этом результаты проверки буду приходить вам в виде смс или по электронной  почте.

И наконец, помните, если ваш любимец начал постепенно выпадать из индекса, то причина может заключаться даже в такой маловероятной на первый взгляд причине, как шаловливые ручки хостинг-провайдера, криво настроивших защиту сервера.

И напоследок традиционный анекдот.

Жара…

Улица…

Навстречу идёт девушка…

Черная футболка, ножки, животик…

Нет, стоп, большой живот!

Беременная, сочувствую,  в такую жару!

Вижу надпись на футболке, не разгляжу пока.

Подходит ближе. Ого, а живот-то большой какой!

Видна надпись, прямо на животе – Оцените наш хостинг!

Понравилась статья – не забудьте нажать на кнопочки социальных сетей – вам нетрудно, а мне приятноsmile.

 

    Подпишитесь на комментарии, чтобы не пропустить
    важный ответ:



подписка на rss RSS - подписка
    подписка twitter Twitter - подписка

Вы можете оставить отзыв или трекбек со своего сайта.

Отзывов: 13 на «Почему хостинг блокирует поискового робота»

  1. Почему Яндекс не любит ваш сайт? | SEO-semki пишет:

    18 Дек 2013 в 23:53

    […] Читать продолжение — Хостинг блокирует поискового робота […]

  2. Dana пишет:

    19 Дек 2013 в 00:10

    Мать моя женщина, а мой бложек находится как раз у одного из таких хостеров (один из списка). И что теперь посоветует делать – менять хостинг или всё же подождать?

    [Ответить]

    seo Reply:

    А чего ждать, собственно говоря? Пока сайты вылетят из выдачи? :smile:
    Я бы не ждал, но дело ваше. :cool:

    [Ответить]

  3. suravel пишет:

    21 Дек 2013 в 23:19

    Я как раз дождалась… За полгода все сайты вылетели из индекса.

    [Ответить]

    seo Reply:

    А какой у вас хостинг – выделенный сервер в хетцнер?

    [Ответить]

  4. seo пишет:

    25 Дек 2013 в 17:35

    Хочу предложить вам одну полезную вещь.Скрипт предназначен для блокировки различных роботов (user-agents), посещающих ваш сайт с целью сбора email адресов, копирования содержимого сайта и т.д. Скрипт определяет агента и показывает ему страницу, с сообщением о запрещении доступа.Вот ссылка seoshop.3dn.ru/#!digiseller/detail/1631117

    [Ответить]

  5. Влад пишет:

    16 Янв 2014 в 10:20

    Хостингер более такой болезнью – блокирует ботов Яши и Гугля, сцуко!

    [Ответить]

    seo Reply:

    Я так понимаю, что речь идёт об этом хостинге – hostinger.com?

    [Ответить]

  6. Вирус Troj/JSRedir-LR и его разновидности | SEO-semki пишет:

    16 Янв 2014 в 19:32

    […] И дело тут даже не в том, что хостинг просто-напросто заблокировал поисковых ботов Яндекса, как создающих излишнюю нагрузку на хостинг, а […]

  7. Антон пишет:

    18 Фев 2015 в 14:22

    Вот и у меня такая же проблема hostinger блокирует поисковых роботов. Уже в который раз обращаюсь в поддержку, на 3-й день получаю ответ: Укажите IP робота. Ну а где его взять?!

    [Ответить]

    seo Reply:

    Нужно спросить у хостера, а какие ip они блокируют.*wink*
    Или посмотреть в логах.

    [Ответить]

  8. hostinger-end пишет:

    24 Фев 2015 в 15:18

    А вы в курсе, что Хостингер работает не совсем честными методами, использует спам, всплывающие pop-up окна и прочие пережитки для своей рекламы?

    [Ответить]

  9. prokit пишет:

    29 Июл 2015 в 07:51

    Выбор правильной хостинг-компании оградит Вас от проблем описанных в посте.
    Я выбрал Abusehoster.ru.

    Тех.Поддержка никогда не заблокирует Ваш сайт. Если вдруг у Вас поселиться вирус – хостинг шлет письмо, в котором предлагает методы решения проблемы. Любые абузы на контента хостинг игнорирует.

    [Ответить]

Ваш отзыв

http://seo-semki.ru/icons/wpml_bye.gif 
:bye:
http://seo-semki.ru/icons/wpml_good.gif 
:good:
http://seo-semki.ru/icons/wpml_negative.gif 
:negative:
http://seo-semki.ru/icons/wpml_scratch.gif 
:scratch:
http://seo-semki.ru/icons/wpml_wacko.gif 
:wacko:
http://seo-semki.ru/icons/wpml_yahoo.gif 
:yahoo:
http://seo-semki.ru/icons/wpml_cool.gif 
B-)
http://seo-semki.ru/icons/wpml_heart.gif 
:heart:
http://seo-semki.ru/icons/wpml_rose.gif 
:rose:
http://seo-semki.ru/icons/wpml_smile.gif 
:-)
http://seo-semki.ru/icons/wpml_whistle3.gif 
:whistle:
http://seo-semki.ru/icons/wpml_yes.gif 
:yes:
http://seo-semki.ru/icons/wpml_cry.gif 
:cry:
http://seo-semki.ru/icons/wpml_mail.gif 
:mail:
http://seo-semki.ru/icons/wpml_sad.gif 
:-(
http://seo-semki.ru/icons/wpml_unsure.gif 
:unsure:
http://seo-semki.ru/icons/wpml_wink.gif 
;-)