Google: статус «Обнаружена, но не проиндексирована» может оставаться вечно
Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер заявил, что статус «Обнаружена, но не проиндексирована» в Search Console потенциально может оставаться вечно, поскольку поисковая система не индексирует все страницы. В вопросе к Мюллеру один из специалистов спросил, как долго может оставаться этот статус, и получил такой ответ. Официальное определение В Справке Search Console о статусе «Обнаружена, но не проиндексирована» говорится следующее:
«Это сообщение означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. Именно поэтому в отчете не указывается дата последнего сканирования».
Причины появления такого статуса Как говорилось выше, причиной могут быть технические аспекты, такие как чрезмерная загрузка ресурса. Если это так, то Google перенесет сканирование на более позднюю дату. Еще одна возможная причина – сайт не соответствует определенному уровню качества в глазах поисковой системы. Хотя Google – одна из крупнейших компаний в мире, когда речь идет о вычислительных мощностях, его ресурсы не безграничны. Поэтому поисковик старается использовать свои ресурсы для сканирования тех сайтов, которые представляют ценность для пользователей и публикуют качественный контент. В связи с этим у некоторых страниц статус «Обнаружена, но не проиндексирована» может оставаться вечно.
«Это может быть навсегда. Мы не сканируем и не индексируем все страницы. И это вполне нормальная ситуация для каждого сайта, когда мы не все индексируем», — ответил Мюллер.
Он также добавил, что если это новый сайт с большим количеством контента, то вполне ожидаемо, что часть этого контента в течение какого-то времени будет оставаться обнаруженной, но не проиндексированной. Со временем, когда Google увидит, что это ценный контент, он может его просканировать и проиндексировать, но не обязательно. Это не гарантировано. Что делать, если у страниц этот статус Вместо того, чтобы оставлять все как есть и просто ждать, Мюллер советует продолжать работать над сайтом и улучшать его качество. Это нужно для того, чтобы системы Google могли увидеть, что в сканировании и индексировании этого ресурса есть смысл. Тогда со временем больше контента будет попадать в индекс. Прослушать вопрос к Мюллеру и его ответ на него можно на видео (начиная с отметки 49:46 мин):
Напомним, в августе Мюллер заявил, что это нормально, если 20% сайта не индексируются.
“Страница обнаружена, но не проиндексирована” — как решить проблему?
Сообщение “Страница обнаружена, но не проиндексирована” говорит о том, что ссылка на страницу обнаружена, но пока что только добавлена в очередь на сканирование позже [справка Google].
Возможные причины появления такой ошибки:
- Нагрузка на сервер
- Не проработана перелинковка на ресурсе
- Проблемы с краулинговым бюджетом ресурса
Возможные пути решения такой проблемы:
- В первую очередь рекомендуем проверить хостинг и нагрузку на сервер и устранить причины ее повышения, либо сменить сервер на тот, который сможет выдержать такую нагрузку.
- Перелинковка на сайте
Google определяет, какие страницы нужно сканировать в первую очередь на основании их PageRank, который является сигналом важности страницы. Поэтому рекомендуем сделать анализ внутренней перелинковки — вполне возможно, что нарушена структура сайта и некоторые ценные страницы получают недостаточное количество внутренних ссылок или не получают их вовсе. Что важно проверить:- Наличие входящих и исходящих ссылок на таких страницах, не допускайте появление так званых “сиротских страниц” и “висячих узлов”.
- Глубину сайта до нужной страницы — чтобы бот чаще краулил страницу, она должна быть доступна в 2–4 клика от главной. Чем глубже находится страница, тем реже её обходит бот.
- Проработайте и актуализируйте файл Sitemap.
- Скорость загрузки сайта — ускорение загрузки сайта, как правило, приводит к тому, что робот Google начинает сканировать больше URL.
- Дубликаты и страницы низкого качества — поисковая система не хочет тратить ресурсы, индексируя несколько страниц с одинаковым содержимым, пустые документы, недостаточно информативные и т. д.
- Уменьшить количество страниц, которые отдают 4xx и 5xx ответы сервера.
Подробнее о способах увеличения краулингового бюджета можно прочесть в нашей статье “17 советов как увеличить краулинговый бюджет”
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
- Можно ли проиндексировать покупные ссылки, создав для них карту сайта у себя на сайте? Читал про интересный способ индексации покупных ссылок: на своём домене создаётся страница, закрытая от индексации. На ней есть список ссылок, которые нужно загнать в индекс.
- Влияет ли рекламный трафик на индексирование и ранжирование? Может ли реклама в соц. сетях или в Я.Директе улучшить индексацию сайта? И есть ли влияние просто на ранжирование страниц, на которые мы закупаем рекламу.
- Подскажите сервис по массовому переобходу страниц в Google Подскажите сервис по массовому переобходу страниц в Google или как ещё можно значительно увеличить число квоты на обход в день? Может ли помочь простановка внешних.
- Как удалить появляющиеся в индексе страницы, которых нет на сайте? После смены тематики интернет-магазина (с одного вида продукта на другой) из индекса длительное время не исчезают страницы, которых нет на сайте. Эти страницы отдают 404.
- Как можно ускорить индексацию или переиндексацию страниц в Google? Раньше я вручную отправлял каждую ссылку на переиндексацию после того как обновил контент. Как сейчас быть (Вопрос про Google, в связи с отключением инструмента для.
В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.
Девиз: Человек сам прокладывает свой путь
«Страница просканирована, но не проиндексирована» и «Страница обнаружена, но не проиндексирована» — в чем разница?
Сообщение «Страница просканирована, но не проиндексирована» означает, что технически со страницей нет никаких проблем, но Google решил не добавлять ее в индекс и не ранжировать. Основные причины, по которым Google не индексирует страницы:
- Малокачественный контент. Если вы считаете, что такая страница должна быть в индексе, стоит детально проработать ее: добавить уникальные метатеги, полезный уникальный контент. Если же страница не будет продвигаться, лучше закрыть ее от индексации или удалить, чтобы не растрачивать краулинговый бюджет напрасно.
- Дублирование контента. Если страницы являются полными дублями, необходимо настроить 301 редирект с дубля на основную страницу, выбранную ПС. В случае частичного дублирования необходимо уникализировать страницы, чтобы они попали в индекс.
- Непредназначенные для пользователей страницы (RSS-ленты, файлы Sitemap и Robots.txt, системные файлы и т.д.). Данные страницы нужно закрыть от индексации, чтобы не растрачивать краулинговый бюджет.
Сообщение «Страница обнаружена, но не проиндексирована» означает, что ссылка на страницу обнаружена, но пока только добавлена в очередь на сканирование (чего в итоге может и вовсе не произойти из-за перегруженности сайта).
Google определяет, какие страницы сканировать в первую очередь, на основании их PageRank, который является сигналом важности страницы. Поэтому, если непросканированных страниц на сайте большое количество и они являются ценными для продвижения, в первую очередь необходимо проанализировать внутреннюю перелинковку сайта. Вполне возможно, что нарушена структура сайта и некоторые ценные страницы получают недостаточное количество внутренних ссылок или не получают их вовсе.
Также следует оптимизировать скорость загрузки сайта, уменьшить глубину сайта, устранить мусорные и битые страницы, уменьшить количество редиректов и устранить их цепочки, проработать и актуализировать файл Sitemap, чтобы улучшить скорость сканирования сайта. Подробнее о способах увеличить краулинговый бюджет можно узнать в нашей статье.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
- Как удалить из индекса Google ненужные страницы? Как можно удалить из индекса ненужные там страницы? Речь про Google, попали в индекс страницы пагинации и страницы сортировки. Ответ В первую очередь про страницы.
- Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть.
- Открывать ли к индексации сайт на стадии разработки? После покупки домена, начинается процесс создания, настройки и наполнения сайта. Вопрос: на домен после покупки нужно поставить заглушку и закрыть от индексации, пока сайт не.
- “Страница обнаружена, но не проиндексирована” — как решить проблему? Как бороться с загадочным «обнаружена, не проиндексирована»? Ответ Сообщение “Страница обнаружена, но не проиндексирована” говорит о том, что ссылка на страницу обнаружена, но пока что.
- Как проверить, доступен ли Google bot основной контент? При заходе на сайт появляется всплывашка на весь экран с вопросам, например, есть ли 18 лет пользователю. Всплывашка реализована при помощи JS. Вопрос: как проверить.
Обнаружена не проиндексирована google как исправить
Регистрация 
Статус «Обнаружена, не проиндексирована» в Google
При анализе сайта в интерфейсе Google Search Console часто можно увидеть статус “Обнаружена, не проиндексирована”. Это означает, что поисковый робот Google узнал о существовании страницы, но не просканировал её.
В документации Google, поясняется статус «Обнаружена, но не проиндексирована»:
«Это означает, что мы нашли страницу, но пока не добавили ее в индекс Google. Обычно это объясняется тем, что роботу Google не удалось просканировать сайт, поскольку это могло привести к чрезмерной загрузке ресурса, и сканирование было перенесено на более поздний срок. В связи с этим в отчете дата последнего сканирования отсутствует».
Google сканирует и индексирует миллионы сайтов и берет в индекс только качественные сайты и страницы, которые могут быть полезны пользователям, а остальные сайты “обходит стороной”.
- Сайт новый или содержит новые страницы и поисковый робот еще не успел пройти по ним
- Структура сайта недоступная для поискового робота
- Шаблонность, неуникальность страниц
- Ошибки при сканировании сайта
- Отсутствие ссылок с внешних ресурсов
- Долгая загрузка страниц сайта или высокая нагрузка на сервер
- Низкое качество контента, недостаточный объем, информативность и польза.
- Большое количество мусорных страниц, которое уменьшает “краулинговый бюджет” сайта
Если проводятся работы над улучшением качества сайта, то количество не проиндексированных страниц сокращается. Но если работы на сайте не ведутся, то количество страниц в статусе «Обнаружена, но не проиндексирована» вероятно будет прежним или увеличится.
- Провести технический аудит сайта и проверить на наличие ошибок, мешающих индексации
- Оценить качество контента. Сравнить с конкурентами которые находятся в ТОПе поисковой выдачи.
- Проанализировать структуру сайта и добавить перелинковку страниц
- Проставить ссылки с внешних ресурсов на непроиндексированные страницы
- Отправить на индексацию повторно:
Если вышеуказанные действия не помогли, можно попробовать сменить URL страниц и отправить на повторную индексацию