Как я удалил правила роботс и увеличил посещаемость в два раза

Доброе время суток уважаемые читатели!

Сегодня расскажу, как я удалил роботс из корня своего блога и поднял посещаемость почти в два раза, благодаря этому удалению. А точнее, я расскажу, какие правила robots необходимо убрать, чтобы трафик увеличился.


Сегодня узнаете:

  1. Зачем и какие удалять правила роботс
  2. Как, это может повлиять на дубли страниц
  3. Как удалив правила robots.txt, увеличить посещаемость

Этот эксперимент, я провел месяц назад на своем блоге, и не просто, это придумал. Виновник торжества Андрей Назыров. Если кто не знает, то Андрей блоггер, именно, его [urlspan]статья[/urlspan] подтолкнула меня удалить правила роботс.

Прочитав его пост, я решил проверить свой блог на мобильность, то есть узнать, как видят его посетили со своих телефонов. Я знал, что дизайн моего блога адаптивный (подстраивается под каждое разрешение экрана), но все же решил проверить, ну так, на всякий «пожарный» случай. Меня сильно удивило то, что я увидел!

Google сказал, что блог вообще не оптимизирован для мобильных устройств. Я думал, как? Ведь есть другие сервисы, проверяющие на мобильность, писал о них здесь. Не знаю, может быть тогда Гугл еще не доработал свой новый сервис, может еще что-то, но факты говорили, что мой «супер-блог» — «г*вно» для телефонов.

Мешающие robots.txt правила или недоработка Google

Мне даже пришло письмо счастья. Знаете, что это такое? Это письмо от веб-мастера Google, которое приходит на EMAIL (электронный ящик), где сказано: ваш блог не оптимизирован для мобильных устройств и в связи с этим, он будет понижен в поисковой выдаче. Получали такое письмо?

Я не знал, что делать! Почему мой блог плохо отображается в телефонах, куда делся функционал? Перерыл весь блог: отключал плагины, лазил в файл .htaccess, просмотрел все установленные скрипты, даже проверил на вирусы, и тут вспоминаю, что у меня есть тестовый блог с таким же шаблоном. Проверяю его на мобильность, а он оптимизирован для мобильных на 100%.

Мне сразу в голову пришла идея, а точнее вспомнил отличие между шаблонами, это отличие было в правилах robots.txt. На моем основном блоге были правила disallow, которые запрещали доступ к некоторым файлам, а на тестовом их не было. Тут, я решил посмотреть, прав я или нет: удалил запрещающие правила, и реально, блог стал снова оптимизирован.

Здесь оставалось принять решение: оставить все как есть и «упасть в поиске» или заработать дубли страниц и тоже «опуститься в поисковой выдаче». Решение не простое, но все же, я решил убрать все правила disallow, чтобы посмотреть на дальнейшие изменения.

26 февраля 2015 года, у меня в дополнительной выдаче поисковой системы Google было 602 дубля, а сегодня 28 марта 2015, этих дублей 532. То есть копий больше не появилось, а уменьшилось. Но, это не значит, что вам нужно бежать в корень своего сайта, и делать тоже самое.

Дело в том, что у меня в роботс были закрыты только технические файлы, типа wp-includes, wp-content и так далее. Рубрики, метки и т.п. у меня были закрыты отличным правилом: <meta name=robots content=»noindex, follow»/>. Этот тег прописывает мне СЕО плагин WordPress SEO. Так вот, если вы не используете СЕО плагины и у вас нет того инструмента, который может сделать подобный запрет поисковым роботом, то все запрещающие правила robots.txt не нужно удалять, а то ждите беды.

Наверное, кто-то скажет: «Леша, ты начал рассказывать о увеличении трафика, а тут за дубли рассказываешь, что за дела?» Не стоит нервничать! Сейчас все расскажу. Все дело в том, что многие думали, что robots.txt, а точнее его правила, делают сильную погоду в появлениях дублей и их удалении.

Сейчас мой роботс вообще не содержит запрещающих правил. В нем есть только: host, sitemap и правила allow для лучшей индексации моих картинок. Все, больше там ничего нет, смотрите на него:

Какие правила robots.txt удалять

Даже технические файлы не закрыты. Как оказалось, они никому не нужны! Может быть раньше, поисковики забирали все, что «плохо лежит», но сейчас они сильно поумнели, им нужны файлы, только те, которые содержат материал, необходимый пользователям интернета.

А теперь про посещаемость после удаления правил robots.txt

Тут много рассказывать не буду, просто покажу вам скрин статистики LiveInternet, на ней видно историю с 26 февраля по сегодняшний день:

Рост трафика после удаления правил robots

Как, я уже говорил: «не вдвое, а почти», но все же выросла. Результат виден, а это уже факты, в которых нельзя усомниться, как в предыдущих постах. Делайте изменения, но помните обо всем, что я написал выше, не подвергайтесь опасности, если забыли, то прочитайте статью еще раз.

На этом у меня все. [urlspan]Подписывайтесь на обновления блога[/urlspan], не пропускайте новые интересные статьи. Не бойтесь делать эксперименты на блоге, ведь в случае неудачи можно вернуть все обратно. До встречи!

С уважением, Алексей Кобзарев



Интересный и полезный контент

44 thoughts on “Как я удалил правила роботс и увеличил посещаемость в два раза

  1. Игорь Черноморец

    Офигеть 😐
    Но…почему тогда мой блог в глазах google адаптирован под мобильные устройства, несмотря на то, что в моем robots служебные файлы закрыты?

    1. Жанна Лира

      Игорь, потому что в «голом виде» на главной странице твоего блога нет слишком мелких элементов. Ты ведь только главную проверял? Проверь отдельную страницу статьи — она не оптимизирована.

      1. Игорь Черноморец

        Жанна, я проверил почти все страницы блога и оказалось, что только четыре из всех были так и да не оптимизированы.А причиной этому оказалось запреты некоторых файлов в robots! Кроме того, я не заметил, что гугл мне указывает на еще 62 файла мной заблокированными в роботсе.
        Черт побери, Алексей, ты оказался прав, мерзавец ты эдакий 😉
        Алексей, ты меня прости за мои сомнения и в какой то степени недоверие к некоторым твоим статьям! Я оказался не прав, а ты…ПРОФЕССИОНАЛ!
        Снимаю перед тобой шляпу
        😉
        И за одно благодарю тебя Жанна!
        Спасибо вам ребята.
        Начну исправлять ошибки!

        1. Алексей Кобзарев Автор записи

          Удачи тебе Игорь!

  2. Даниил Привольнов

    Интересный материал и эксперимент! Алексей, а если я использую плагин All In One SEO Pack, то мне лучше не менять роботс? Если не сложно посмотри плиз на него, у тебя до эксперимента примерно такой же был?

    1. Алексей Кобзарев Автор записи

      Точная копия моего в прошлом, а плагин закрыл все лишнее.

  3. Артём

    Страшновато как-то удалять. Мне письмо пришло тоже, хотя проверка показывает адаптированность 100%. Можете посмотреть мой роботс 🙂

    1. Алексей Кобзарев Автор записи

      Ваш фал похож на мой до эксперимента, а письмо я думаю, просто так отсылать не будут.

  4. bobby

    Я тоже все практически открыл в роботсе. никакого смысла закрывать, действительно, нет и никакие дубли у меня не плодятся в связи с таким открытием. надо просто правильно все настроить на блоге. я только не понимаю одного — для чего в robots прописывать правила allow, ведь все что не запрещено — то разрешено. мое мнение — поисковикам ваще пофигу должно быть на правило allow.

    1. Алексей Кобзарев Автор записи

      Я эти правила поставил, когда один блоггер советовал, это делать, но никаких изменений не заметил после их добавления.

  5. Жанна Лира

    Давно говорю, что пора чистить роботс, а мне мало кто верит )

    У меня стоит запрет для wp-admin, потому что этот запрет есть и в роботсе, который создает Вордпресс автоматически (если нет реального файла и если Вордпресс установлен в корневую папку сайта). Все остальное открыто. Уже больше трех месяцев — полет нормальный.

  6. bytrina

    Дубли конечно на сайте держать не стоит, я в свое время тоже избавилась от них, а вот что касаемо посещаемости что-то не совсем разобралась, так как же вы ее повысили?

    1. Алексей Кобзарев Автор записи

      Скорей всего открытием поисковым системам все нужное для индексации и адаптивным дизайном.

  7. Оксана

    Спасибо за статью. Периодически читаю Ваш блог, как раз в тему для меня эта статья, буду экспериментировать с robots.txt. Хотела Вам посоветовать с дизайном. Мне кажется, что кнопки главного меню теряются на фоне полосы меню. Я бы сделала цвет кнопок такой, какой при наведении мыши, но это лично мое мнение. Еще раз спасибо за Ваши статьи.

  8. Андрей

    Привет, Алексей. Во первых благодарю за пиар! 😉
    Скрин статистики впечатляет.
    Представляешь, у меня оказывается тоже блог не оптимизирован для мобильных, несмотря на то что стоит плагин WPtouch Mobile. То есть главная страница оптимизирована, а внутренние нет. Сначала вроде все было ОК, в поисковой выдаче появился ярлык «Для мобильных» , а затем пришло письмо счастья от гугл

    1. Алексей Кобзарев Автор записи

      Ну, во-первых не пиар, а как бы я расcказал о авторе, который навеял мне хорошую мысль и впустил ее в жизнь, а во-вторых, плагины, возможно хорошая вещь, но им не всегда можно доверять, и нужно проверять свой блог по чаще. 🙂

    1. Алексей Кобзарев Автор записи

      С Яндекс, Google, почти одинаково побежал хороший траф, и немного увеличился с bing.

  9. Андрей Косолапов

    Леш, то есть по твоему для увеличения трафика надо переделать роботс и будет счастье. А как же дубли на которых все последнее время повредились? Вау, а смайлы какие крутые, бомба 😉 😳 ➡

    1. Алексей Кобзарев Автор записи

      Не знаю, как счастье, но точно лучше будет. А на счет дублей, я в статье описал, так что извини, просто у меня сейчас времени нет. Если будет желание, то позже можем по mail связаться?

  10. Di

    Статья заинтересовала тем, что обещает прирост, но что-то мешает вносить изменения в robots. а как насчет плагина All in one SEO Pack? Он что, несостоятелен?

  11. Chief

    Это и весь robots? Что-то как-то не по себе даже, но скрин, да, впечатляет. Попробовать что ли…

    1. Алексей Кобзарев Автор записи

      Думаю, я не исключение, точнее мой блог, поэтому и ваш поднимут в поиске.

  12. badusbabus

    Такой роботс и есть самый правильный, не просто так его разрабы вордпресса нам втуляют. я тоже уже сделал файл роботс такого вида и теперь у гоголя нет претензий к тому, что у меня не поддерживается типа мобильная версия. все в роботсе надо открывать, ВСЁ! ну можно если ток админку прикрыть и то навер необязательно.

  13. badusbabus

    Вопрос кстати, че с чатом? не поперло с ним? вижу, что никто им не пользуется. 😡

    1. Алексей Кобзарев Автор записи

      Я его вообще не раскручивал, не для этого ставил.

  14. Сергей

    Я со своим первым блогом домудился что, вообще под АГС от яндекса попал, а вывести так и не получилось, так что теперь не экспериментирую 💡

  15. Надежда Давыдова

    Леша, ты меня опередил. Давно думала провести такой эксперимент. Вижу, что результаты отличные! Попробую и я ))

  16. Андрей

    Алексей, привет.
    Если не сложно, глянь пожалуйста мой блог. Вроде никаких запрещающих тегов нет, а вдруг что пропустил.

  17. Максим

    Здравствуйте Алексей. Спасибо за статью, очень помогла в плане мобильной версии блога. Заменил свой роботс как у вас описано в статье, проверил блог на мобильность, такое сообщение: Отлично! Страница оптимизирована для мобильных устройств. Хотя до замены было совсем наоборот. 😉 😈 😳

  18. Александр

    Алексей привет! Прочитал статью проверил свой блог на мобильную версию все окей и все страницы блога! Гугль показал что блог адаптирован под мобильную версию. Посмотрите мой robots.txt, что скажете?

    1. Алексей Кобзарев Автор записи

      У вас закрыты системные файлы, а у меня если так сделать, то робот скажет «не адоптирован», но как как уже доказано, системные файлы кроме нас самих никому не нужны.

  19. Александр

    Алексей проверил еще раз и вот что заметил скрин (если можно?), а у вашего сайта такого замечания нет.. Пойду попробую переделать файл!

    1. Алексей Кобзарев Автор записи

      У меня все открыто, поэтому конечно никаких замечаний нет.

  20. Александр

    Алексей сделал как у вас , все заработало! Спасибо Большое за совет! Посмотрим как дальше все будет! 😉 🙂

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *