Некоторые из вас заметили, что я начал что-то мутить с блогом. Что-то добавляется, что-то убирается. Дело в том, что я занялся оптимизацией блога. Сейчас вот удалил пару лишних страниц, которые никак не подходят к теме блога, не знаю, зачем я это когда то писал и тратил на это время. Оказывается рано или поздно через это проходит каждый вебмастер. Сначала мы думаем как массово добавить страницы в индекс, потом страницы порой теряют свою актуальность. Но давайте не будем задавать вопросы о причинах удаления. Есть задача – удалить, её мы и будем решать. Итак. Как же удалить страницы из индекса? Оказывается способов несколько, сейчас все по порядку и рассмотрим.

Удалить страницу из поиска Yandex или Google

1. 404

Самый простой способ. Просто удалить эту страницу со своего сайта или блога. Но… Здесь нужно помнить, что при удалении, нужно проследить, чтобы сайт возвращал пользователю ошибку 404 (страницы не существует).

    HTTP/1.1 404 Not Found

Этот способ, возможно, будет слишком длительным, т.к. нужно время, чтобы робот пришел на страницу, получил ошибку 404 в ответ. Через некоторые время вернулся , опять получил ошибку и потом удалил её из поиска. Время на удаления страницы из поиска – зависит от времени нахождения этой страницы в поиске.

2. Robots.txt

Можно также воспользоваться довольно популярным методом закрывания этой страницы от индексирования поисковыми роботами через файл Robots.txt. В этом случае мы просто не будем пускать роботов поисковых систем на страницу и она сама собой выпадет из поиска. Что надо прописать? Все просто, если вы не хотите чтобы поисковики индексировали какую-то определенную страницу, нужно прописать:

    User-Agent: *
    Disallow: /my_post.html # закрытие страницы my_post.html

Это тоже довольно длительный процесс, причем, оказывается, не очень надежный. Если вы удаляете раздел, то некоторые страницы могут и дальше оставаться в индексе, если они попали туда благодаря внешним ссылкам.

3. Robots в качестве МЕТА-тега

Это собственно аналог предыдущего пункта. Только прописывать нужно не в файле роботс, а в коде страницы, между head и /head

Вот например:

    meta name=”robots” content=”noindex,nofollow”

Это удобно когда вы пишете статью, и уже заранее знаете что её не нужно пускать в индекс, и заранее готовы вписать в неё этот код. Вариант это очень прост, как кажется с первого взгляда, однако он может оказаться довольно сложным для динамических сайтов, которые используют шаблонной подключение модулей. Ведь если сайт подключает, например footer.php (подвал сайта), это значит что подвал для всех страниц будет одинаковый, тоже самое и с остальными частями сайта. Поэтому в этом случае закрытие таким способом может повлечь закрытие от индексирования поисковиками всего сайта.

4. X-Robots-Tag

Этот метод относиться скорее к забугорным поисковым системам. ЭТо тоже альтернатива предыдущему методу. Смысл этого метода тот же, только тег должен находиться не в коде, а в HTTP заголовке. И выглядит это примерно так:

    X-Robots-Tag: noindex, nofollow

Очень часто не честные оптимизаторы используют этот метод чтобы скрыть от глаз поисковиков страницы, которые обмениваются ссылками с другими сайтами. Поэтому если вы обмениваетесь с кем-то проверяйте досканально код страницы.

5. Удаление страницы из поиска руками

Самый простой, самый надежный способ. Просто зашел в панель управления и удалил самостоятельно. По одной странице за раз.
Для Яндекса: http://webmaster.yandex.ru/delurl.xml
Для Гугла: https://www.google.com/webmasters/tools/home?hl=ru

Но тут нужно выполнить одно из условий. Удаляемая страница должна быть или закрыта от поискового робота одним из предыдущих способов, если должна быть удалена с сайта и возвращать ошибку 404 роботу и пользователям. Только тогда панель вебмастера сможет пометить страницу на удаление из индекса.

Ну вот, вроде все описал, теперь пойду остальные ненужные страницы удалять из индекса поисковых систем, а вы пока не забывайте подписываться на обновления по почте, ваш monetablog

Рекомендую также прочитать:


Понравилось? Расскажи друзьям: