Почему страницы выпадают из индекса яндекса. Пропала страница из поисковой выдачи яндекса

В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.

1. Яндекс не индексирует сайт полностью

Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.

Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:

Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
Добавьте на сайт Яндекс.Метрику
Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);

1.2. Старый сайт частично или полностью выпал из индекса

Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).

Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.

Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:

Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).

2. Яндекс не индексирует страницы на сайте

Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:

Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
На страницу нет ссылок – соответственно, поисковая система не может ее найти.
Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.

Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.

Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?

","contentType":"text/plain"},"proposedBody":{"source":"

","contentType":"text/plain"},"authorId":"6446625","slug":"8396","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":33,"modificationDate":"Thu Oct 17 2013 14:14:00 GMT+0000 (UTC)","showPreview":true,"approvedPreview":{"source":"

","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"titleImage":null,"tags":,"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/partner/8396","urlTemplate":"/blog/partner/%slug%","fullBlogUrl":"https://yandex.ru/blog/partner","addCommentUrl":"/blog/createComment/partner/8396","updateCommentUrl":"/blog/updateComment/partner/8396","addCommentWithCaptcha":"/blog/createWithCaptcha/partner/8396","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog/partner","urlEditPost":"/blog/56a93308d97351872e73283f/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/56a93308d97351872e73283f/publish","urlUnpublishPost":"/blog/56a93308d97351872e73283f/unpublish","urlRemovePost":"/blog/56a93308d97351872e73283f/removePost","urlDraft":"/blog/partner/8396/draft","urlDraftTemplate":"/blog/partner/%slug%/draft","urlRemoveDraft":"/blog/56a93308d97351872e73283f/removeDraft","urlTagSuggest":"/blog/api/suggest/partner","urlAfterDelete":"/blog/partner","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/56a93308d97351872e73283f","unsubscribeUrl":"/blog/api/unsubscribe/56a93308d97351872e73283f","urlEditPostPage":"/blog/partner/56a93308d97351872e73283f/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/partner/8396/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/partner/8396","author":{"id":"6446625","uid":{"value":"6446625","lite":false,"hosted":false},"aliases":{},"login":"rlocman","display_name":{"name":"Муратов С..mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2013-10-17T10:14:40.000Z","socialImage":{"orig":{"fullPath":"http://avatars.yandex.net/get-yablog/4611686018427441880/normal"}}}}}">

Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль 🙁 Почему страницы выпали из Яндекса?

Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!

НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!

Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.

Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.

Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:

40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:

Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:

Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:

Здравствуйте, Андрей!

Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.

О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .

Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.

Спасибо за понимание, ждем Вашего письма!

Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!

Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?

Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:

Как найти страницы выпавшие из Яндекса?

Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .

Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:

Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.

Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:

В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:

Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:

После того как все закончилось выгружаем результат в EXEL. Что мы видим?

А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:

Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?

Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…

Не нашли ответ? Воспользуйтесь поиском по сайту

04:16 pm - Пропала страница из поисковой выдачи Яндекса

Яндекс - это загадка! По идее 1000 страниц (уникального?) контента должны давать как минимум 1000 посетителей. Если речь идёт о поисковом трафике, то здесь многое зависит от того, сколько страниц находится в индексе (базе данных) поисковой системы. Конечно, там много всяких факторов, но меня интересует вот что: как и почему пропадают страницы из этого самого индекса Яндекса?

Примечание : эту тему я подымал в своём журнале неоднократно. Проблемы и индексации, на живом примере, достаточно актуальны и вот только теперь, благодаря ответам Александра Садовского , руководитель отдела веб-поиска Яндекса, на первом в истории существовании SEO в Рунете закрытом круглом столе, нашёлся таки хоть какой-то более-менее реальный ответ.

В сервисе Яндекс.Вебмастер есть такие параметры как количество загруженных роботом страниц и количество страниц в поиске. Параметр загружено роботом подразумевает количество страниц, к которым смог (успел?) обратиться робот поисковой системы. Параметр страниц в поиске подразумевает количество страниц, загруженных роботом, прошедших все проверки и участвующих в поиске.

Понятно, что дубликаты, редиректы, спам и т.д. не попадают в результаты поиска. В тоже время, бывает и так, что страница проиндексировалась нормально, а потом исчезла в неизвестном направлении. Именно поэтому значения выше упомянутых параметров могут значительно отличаться друг от друга. Например, у моего журнала, на момент написания заметки, были следующие значения: загружено роботом - 684 , страниц в поиске - 313 . И это ещё не самый худший вариант.

Дело в том, что при ранжировании страницы в Яндекс учитывается множество статических (связанных с самим сайтов) и динамических (зависящих от запроса пользователя) факторов. Если страница не появляется даже на тысячном месте, вне зависимости от сочетания этих факторов, то смысла хранить её нет. Поэтому, со временем, она может исчезнуть из поисковой выдачи. Другими словами, несмотря на то, что сайт нужно делать для людей, но только спрос может обеспечить существование вашей страницы в поисковой выдаче.

Примечание : если говорить о ЖЖ не стоит забывать, что архив здесь закрыт для индексации, а в общей ленте выводятся далеко не все заметки. Лично у меня на странице?skip=390 , ссылка Previous 10 entries ведёт уже в архив.

Comments:

Поэтому уникальный контент в ЖЖ нет смысла постить. Теперь я понимаю копипастеров. Спасибо за пост. Многое прояснилось теперь.

Почему же нет смыла? Главное чтоб он успел попасть в индекс. Можно также периодически перелинковку делать, т.е. в новых статьях давать ссылки на старые. Можно ещё обновить дату, сабж в RSS не попадёт но будет на главной странице. В общем, всё относительно.

Речь же в моей заметке не об этом, а о том чтоб контент был вообще востребован и входил хотя бы в первую 1000 по какому-то из более-менее актуальных поисковых запросов.

Вот про тысячу страниц контента и как минимум тысячу посетителей, как становится ясно из видео, фотография из которого в этой статье выложена, Яндекс и говорит.

Правда, я так и не понял, зачем им подобные трудности с отбором мусора, если весь мусор всё равно присутствует в архиве загруженных роботом страниц. Они заявляют, что если контент не запрашивается пользователями, он не будет показан - и пусть не показывают, зато объединили бы "Страницы в поиске" и "Загружены роботом". Была бы одна база, меньше трудностей и, следовательно, меньше проблем...

Ну, мусор не показывают чтоб ресурсы сэкономить - это понятно. А информация "Страниц в поиске" и "Загружены роботом" всё таки нужна. Хотя бы для того, чтоб вебмастер мог сориентироваться нет ли проблем при индексации его сайта. Хотя, здесь было бы удобней, если бы Яндекс показывал какие именно страницы загружены роботом, а то только одна структура. А лучше всего страницы, которые исключены из поиска, тогда сразу можно было бы понять над чем нужно поработать. В общем, как всегда что-то и как-то не так в логике, но имеем то, что имеем (имхо).