Как убрать дубли страниц для роста сайта или блога

Привет! Сегодня хочу написать статью про дубли страниц, то есть Вы узнаете, как избавиться рас и навсегда от дублей страниц! Может не все, но многие блоггеры знают, что дубли страниц мешают продвижению блога.

Ах да, не сказал, в этой статье будет описано только для WodPress блогов. Поэтому если у Вас блог не на WordPress движке, то можете смело закрывать эту страницу и искать нужную информацию дальше. Как мы избавимся от дублей? Читайте дальше внимательно и все узнаете…

ЧТО ТАКОЕ ДУБЛИ СТРАНИЦ

Дубли страниц – это одинаковый контент с разными адресами. Не очень понятно, а для новичков, наверное, вообще не понятно, сейчас объясню. Представим, что мы написали статью и опубликовываем ее. У нее естественно есть свой адрес, но где эта статья появляется?

Она появляется на главной странице блога, в рубриках, RSS ленте и сама запись, то есть у нее четыре разных адреса. Да, с одним доменом, но с разной описью к нему, например, опубликовал я запись «Как украсить сайт, чтобы отличаться от остальных». В этой записи как мы помним 4 адреса:

  • Основной;
  • Главная;
  • Рубрика;
  • RSS лента.

Вроде не страшно, ведь на этих страницах всего лишь небольшой анонс статьи, но не страшно для нас, для людей! Мы посмотрели и пошли дальше по своим делам, а поисковый робот считает это копированием контента. Когда поисковик натыкается на статью с разными адресами, видит текст, который уже проиндексировал, то сразу помечает его копией. Как Вы, наверное, знаете, они не любят и соответственно не ставят их высоко в выдачи или могут вообще не поставить.

Для Вас это потеря трафика, нет страниц в поисковой выдаче, нет и посетителей! Статья на второй странице выдаче, то есть от 11 места – это почти то же самое, что ее нет вообще в выдаче, потому что люди туда редко доходят. Нужно стремиться попасть в ТОП, а чтобы туда попасть, надо сначала убрать все дубли страниц!

Дубли страниц

Как найти и убрать дубли страниц?

Дубли страниц найти несложно! У Вас как у блоггера, должен быть аккаунт в Google и сайт должен быть добавлен в Google webmasrer. С начало нужно создать аккаунт в Google, об этом уже есть статья, вот она, прочитайте и создайте аккаунт.

Для тех, кто еще не добавил свой блог в Google webmaster, я расскажу в другой статье, как это все сделать и как добавить свой сайт в Яндекс webmaster. [urlspan]Подписывайтесь на обновления[/urlspan], чтобы ничего не пропустить.

Как же проверить дубли страниц в Google webmaster?

Заходите по этому адресу, нажимайте кнопку «Войти в инструменты для веб-мастеров». Дальше Вас перекинет на страницу, где будет список Ваших сайтов, выберите нужный. Потом жмите на вкладку «Вид в поиске/ Оптимизация HTML. Если дубли страниц есть, то они там будут показаны.

Оптимизация дублей страниц

Теперь копируем дублируемый URL адрес и идем на вкладку «Индекс./ Удалить URL адреса» и жмите на кнопку «Создать новый запрос на удаление», вставьте в форму скопированный адрес. Проделайте все то же самое со всеми копиями.

Теперь нам нужно удалить дубли страниц из поисковой системы Яндекс. Думаю не нужно проверять, дубли в Google должны быть и в Яндексе, поэтому, берите дублированные адреса с Googla, заходите сюда, добавляйте туда адреса и удаляйте, так сделайте со всеми дублями страниц!

ЗАПРЕЩАЕМ ОТ ИНДЕКСАЦИИ ДУБЛИ СТРАНИЦ И ДРУГОЙ МУСОР

Для того чтобы дублей больше не было и нам не приходилось повторять выше  проделанную работу, нужно запретить поисковым роботам индексировать определенный контент. Нам в этом поможет файл robots.txt. Мы запретим не только индексировать не нужный контент на сайте, а еще и некоторые папки с файлами нашего WordPress блога.

Создайте текстовый файл и назовите его robots.txt. Как он устроен и все значения, я не буду объяснять, потому что о нем можете прочитать здесь. Я лишь дам правила, которые нужно вставить в  ново созданный файл robots.txt. Ну не буду заниматься копирастией, не вставлю  в статью все правила, зайдите лучше сюда – это мой robots.txt, скопируйте все содержимое в нем и добавьте свой.

Нажмите CTRL+A (все выделиться), CTRL+C (скопировать) и в своем файле нажмите CTRL+V (вставить). Удалите строки:

Disallow: /share42/

Disallow: /kross/

Disallow: /kross.php

Это мои папки и файлы, которые я не хочу, чтобы их индексировали поисковые роботы, Вам они не нужны, поэтому удалите. Не забудьте сохранить изменения!

Теперь нам нужно зайти в корень движка и закинуть этот файл туда. Запустите FTP клиент, рекомендую использовать FileZila. Кстати о нем расскажу в новой статье, [urlspan]подписывайтесь на обновления[/urlspan].

FTP запустили? Теперь заходите в папку, где расположены все файлы и папки движка. Если там есть файл robots.txt, удалите его и вставьте новый. Теперь у Вас правильный robots! Открыть его и посмотреть все ли правильно сделали, можно по адресу: http://vashsite/robots.txt.

Если сделали все правильно, то он будет открываться как у меня, а если нет, то проверьте все, возможно где-то допустили ошибку, исправьте ее и обязательно все получиться!

И напоследок скажу, что перед публикацией статьи старайтесь ставить тег <!—more—> (читать далее), как можно ближе к началу статьи. Потому что запретить от индексации главную страницу нельзя, вернее можно, но тогда блог вообще не будет индексироваться. Делайте небольшой анонс, заинтересуйте посетителя и ставьте тег <!—more—>.

ДУБЛИ СТРАНИЦ В КОММЕНТАРИЯХ

На этом у меня все. Теперь знаете, как избавляться от дублей страниц и проблем с продвижением стало меньше. Как Вам статья? [urlspan]Подписывайтесь на обновления[/urlspan] и не пропускайте полезности.

С уважением, Алексей Кобзарев



Интересный и полезный контент

23 thoughts on “Как убрать дубли страниц для роста сайта или блога

  1. Сергей

    Странно. Гугл Вебмастер говорит, что не видит у меня дублей. Интересно, их мнения с Яндексом совпадают? А то Роботс у меня бедненький, сам я заходить в него еще не научился. Попросил вебмастера, который делал мне блог, обогатить роботс по Вашему образцу или научить меня это делать самому. А то, слышал, такие вещи у АГС-ников часто бывают.

    1. Алексей Кобзарев Автор записи

      Перед тем как составить свой робот, делал кучу ошибок. Тынялся по разным сайтам и находил разную информацию. Блин, robots один, а информация разная, я думал. Потом решил этот вопрос, узнал все значения и составил правильно. Больше нет дублей!

      Можете скопировать мой и вставить, я об этом уже писал.

      1. Сергей

        Здравствуйте, Алексей! После того. как поменял роботс с Вашей помощью — в индексе сразу возникает не 1-2 страницы, а 5-7. Дай Бог, из-под АГС выскочу со временем. Во всяком случае, последний ответ от Платонов вроде бы человеческий. Мол, подождите немного, сайт при таком раскладе появится постепенно в выдаче.

        1. Алексей Кобзарев Автор записи

          Ну вот, все будет хорошо. Я Вам дополню robots.txt и вышлю, потому что появились некоторые изменения в поиске. С новым robots, должен быть выход еще быстрее.

  2. Надежда Давыдова

    В Гугл Вебмастер-Оптимизация HTML показываются только страницы с одинаковыми title, дубли таким образом не определишь… Нужен более детальный анализ: проверка основного и дополнительного индекса, все что в «соплях» не нужно, закрываем. Выдача Гугла не показывает истинный адрес страницы, но при нажатии на ссылку осуществляется переход на страницу с искомым адресом: смотрим в адресной строке браузера. Но и так можно найти не все дубли. Более подробно я писала об этом у себя на блоге. Алексей, рекомендую Вам доработать статью, потому что это в самом деле несерьезно… Роботс у Вас действительно хороший, но позволяет дублироваться главной странице… (Это единственное замечание)

  3. Надежда Давыдова

    Пришлось искать способ 🙁 Это я про дубли главной. Сама изобрела велосипед, а оказывается, нужно было просто знать… Дубли пагинации (динамической страницы) устраняются с помощью директивы:

    Disallow: /page/

    Так в индексе остается только первая страница главной.

  4. Александр Борисов

    Алекс у тебя 2500 дублей. Все методы не помогают, ни роботс ни вебмастер гугл после ввода нового алгоритма не спасают 😎

      1. Александр Борисов

        Есть. Я сделал. Точнее мне сделали, но я не знаю как. 🙂 Буду ждать ухода дублей. 😉

        1. Алексей Кобзарев Автор записи

          Александр, если узнаешь, как тебе убрали дубли, напиши пожалуйста об этом в комментариях.

        2. Александр Борисов

          Алексей у тебя сложнее убрать, у тебя при нажатии на кнопку «Ответить» идет перезагрузка страницы!

          Вот если этого бы не было, то было бы все гут! Обратись на фриланс, скажи чтобы вывели кнопку яваскриптом. Если надо могу дать код, там ребята поймут. А все дубли надо, чтобы выдавали 404 ошибку. 😕

        3. Александр Борисов

          Алекс напиши в суппорт мне. 😉

        4. Алексей Кобзарев Автор записи

          Сейчас напишу.

  5. Роман

    Здравствуйте!!! Не подскажите где найти в этой теме RoboGames functions.php Кнопку Ответить?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *