Google ad checker что за робот

Google Ad Checker как бороться? 46 000 хитов в сутки

Друзья, добрый день. Возник вопрос, с февраля месяца нас стал часто посещать Google Ad Checker, сначала было 2000 хитов в день, сейчас значения доходят до 46 000 хитов в сутки. Сайт при таком количестве отказывается корректно работать. Менеджер из Google говорит, что со своей стороны не видят проблем и такого кол-ва посещений, и ничего внятного не могут посоветовать. Кто-то сталкивался с данной проблемой? И влияет ли этот Ad Checker на seo-выдачу в гугле, или это исключительно по рекламному трафику ? Единственное решение которое приходит в голову – блокировать посещения Cheker, т.к. увеличивается кол-во отказов и визиты по 20-30 сек. #google #seo #adwords

• Google заверил, что не ограничивает трафик на сайты
• Google: длина URL не влияет на ранжирование
• Google уточнил, в чём причина пропажи отзывов из GMB-аккаунтов

На сайте с 17.07.2009
1 апреля 2017, 09:59

я бы забанил, но если вы зарабатываете на гугл рекламе, то могут быть снижение доходов

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
На сайте с 21.09.2009
1 апреля 2017, 15:31

holms77, какие страницы он посещает? Может взломали, куча новых вот и осматривает бот чекер 🙂 урлы в Лс покажите.

На сайте с 28.05.2004
1 апреля 2017, 17:45
holms77:
стал часто посещать Google Ad Checker, .

А reverse DNS проверяли?

Йопез — форум без модераторов. https://yopez.com
На сайте с 12.02.2010
5 апреля 2017, 10:49

Если это реально бот гугла, а не кто то им прикидывающийся, то можете задать для него директиву

На сайте с 23.03.2009
5 апреля 2017, 11:16

ip бота нужно посмотреть, может это и не гугл вовсе

На сайте с 08.05.2016
6 апреля 2017, 08:42

Господа, всем спасибо!

Выявили проблему — были удалены объявления в adwords, но робот пытался их посмотреть.

Кстати разместил вакансию, если кому интересно —

На сайте с 25.02.2010
29 апреля 2017, 08:50

holms77:
Господа, всем спасибо!
Выявили проблему — были удалены объявления в adwords, но робот пытался их посмотреть.
Кстати разместил вакансию, если кому интересно —

Не подскажете как решили проблему? столкнулся с этим же.

бот Google Ad Checker люто нагружает сервер

Начал сильно грузиться сервер, по логам метрики это делает бот Google Ad Checker. Раньше он заходил на сайт 120-150 раз в сутки, теперь до 10-15 тысяч раз. На сайте рекламы нет. А вот на сам сайт реклама с Google Adwords имеется. В поддержке гугла ничем помочь не могут. Вопрос на форуме поднимался, но ответ так никто и не дал. Что это за бот, какая от него польза, и как ему запретить доступ на сайт? Может кто сталкивался, помогите!

• Google не фиксирует частоту сканирования сайта GoogleBot
• Взрывной рост роботности в Метрике
• VKRobotRB — что за зверь?

На сайте с 18.08.2008
20 июля 2018, 12:55

jsmith820, этот бот проверяет работоспособность сайта, рекламы и проч.

Заходов действительно много, у вас такая активная реклама на сайт идет? Стоит проверить Эдвордс, может, какие-то объявления имеют некорректный урл и робот долбится туда, пытаясь постоянно проверить «а вдруг что-то изменилось».

Радикальный способ — вообще прекратить рекламироваться в Эдвордс 🙂

Контекст окупается — создание Директа и Гугл Рекламы (Adwords) ( https://searchengines.guru/ru/forum/964055 ) ||| Ютуб-канал «Директ для собственников бизнеса» ( https://www.youtube.com/channel/UCjzF4_iuZQc3Avbngb_xsjg/ )

На сайте с 06.03.2016
20 июля 2018, 13:12

от эдвордза отказаться низзя, это кормилец.

другое дело, может как-то можно для этого робота crawl-delay задать, но как тогда его в user-agent е назвать?

по поводу некорректных урлов логичное предположение. посмотрел — нет таких, вроде всё норм.

На сайте с 17.07.2008
20 июля 2018, 13:16

IP адреса ботов проверяли по whois, они принадлежат Google?

Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.

На сайте с 06.03.2016
20 июля 2018, 13:31

KM.UA:
IP адреса ботов проверяли по whois, они принадлежат Google?
Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.

На сайте с 11.03.2012
20 июля 2018, 14:09

jsmith820,покажите user agent этого бота и его ip из логов веб-сервера

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!

На сайте с 06.03.2016
20 июля 2018, 15:25
Оптимизайка:
jsmith820,покажите user agent этого бота и его ip из логов веб-сервера

209.85.238.36 «Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

На сайте с 11.03.2012
20 июля 2018, 15:55

jsmith820, похож на настоящий.

На сайте с 01.12.2017
21 июля 2018, 04:57

Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?

crawl-delay уже давно не работает для ботов google, они его игнорируют

пропишите в robots.txt и всех то делов

На сайте с 11.03.2012
21 июля 2018, 10:11
smurf:
Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?

Этот бот относится к adwords, а не adsense. Гугл пугает неприятностями:

Важно! Запрет сканирования даже одной страницы может иметь серьезные последствия:

Прекращение показа объявлений. Рейтинг объявлений может существенно снизиться, так как у Google будет недостаточно данных для оценки качества и релевантности целевой страницы. Тогда ваши объявления будут показываться гораздо реже (или вообще перестанут появляться), пока вы не поднимете максимальную цену за клик. Но и в этом случае с показом рекламы возникнут существенные проблемы или она вовсе перестанет появляться.

Отклонение объявлений. Если вы ограничите доступ к конечному URL целевой страницы, на которую ведут ваши объявления, согласно нашим правилам они могут быть отклонены и не будут показываться. Воспользуйтесь Руководством Google для веб-мастеров, чтобы убедиться, что ваши страницы доступны для сканирования.

На сайте с 06.03.2016
22 июля 2018, 19:46

Проанализировав изменения в аккаунте adwords, выявил причину, почему гуглобот adwords так взбесился.

Мы добавили ландинг по схожей тематике, что и основной проект. При этом рекламу по основному проекту тормознули, смотрим какие конверсии даст ландинг.

В результате гуглобот обнаружил два афелированных ресурса, и люто их проверяет, чтобы они не рекламировались в одно и то же время. Отсюда пиковые атаки бота на сайт.

И это ппц, на самом деле. Нагрузки бота очень большие, так что скорее всего придётся переносить сайт на VPS.

И бл*ть, действительно даже в crawl-delay не ограничить эту тварь, и не запретить ей посещать сайт. Вот Оптимизайка верные ссылки дал, санкции будут.

Общие сведения о наших поисковых роботах и инструментах для сбора данных (агентах пользователя)

Google использует поисковые роботы и инструменты для сбора данных, чтобы выполнять действия со своими продуктами автоматически или по запросу пользователя.

Поисковый робот (или «паук») – это программа, которая автоматически обнаруживает и сканирует сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот, который используется в Google Поиске, называется Googlebot.

Инструменты для сбора данных, как и браузер, загружают один URL по запросу пользователя.

В приведенных ниже таблицах вы найдете информацию о том, как поисковые роботы и инструменты для сбора данных Google, используемые разными продуктами и сервисами, упоминаются в журналах переходов и как их указывать в файле robots.txt. Учтите, что в списках указаны лишь основные отправители запросов, которые представлены в файлах журналов.

• Токен агента пользователя указывается в строке User-agent: файла robots.txt и позволяет выбирать, на каких поисковых роботов будет распространяться то или иное правило сканирования. Как видно из таблицы, некоторым роботам соответствует несколько токенов, но для того, чтобы правило действовало, достаточно одного. Приведенный ниже перечень не является исчерпывающим, но содержит информацию о роботах, которые с наибольшей вероятностью будут посещать ваш сайт.
• Полная строка агента пользователя – это подробное описание поискового робота. Оно указывается в HTTP-запросах и журналах. Внимание! Строка агента пользователя может с легкостью быть подделана. Узнайте, как проверить, является ли посетитель поисковым роботом Google.

Основные поисковые роботы

Основные поисковые роботы Google используются для создания индексов Google Поиска, анализа и выполнения других операций сканирования в зависимости от конкретного продукта. Они всегда следуют правилам из файла robots.txt и, как правило, выполняют сканирование из диапазонов IP-адресов, опубликованных в объекте googlebot.json.

Googlebot Smartphone

Токен агента пользователя	Googlebot
Полная строка агента пользователя	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot Desktop

• Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
• Редко:
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)

  Googlebot Image

  Этот робот позволяет сканировать байты графических данных для Google Картинок и продуктов, в которых они используются.

  Googlebot-News

  Googlebot News использует робот Googlebot для сканирования новостных статей, учитывая при этом и свой первоначальный токен агента пользователя Googlebot-News .

  • Googlebot-News
  • Googlebot

  Googlebot Video

  Этот робот позволяет сканировать байты видеоданных для Google Видео и продуктов, в которых они используются.

  Google StoreBot

  Google StoreBot сканирует страницы с информацией о товаре, страницы корзины и оплаты и некоторые другие страницы аналогичных типов.

  • Версия для компьютеров:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
  • Мобильная версия:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

  Google-InspectionTool

  Поисковый робот Google-InspectionTool используется инструментами тестирования Search Console, в том числе предназначенными для проверки расширенных результатов и проверки URL. Помимо агента пользователя и его токена, он имитирует работу робота Googlebot.

  • Google-InspectionTool
  • Googlebot
  • Мобильная версия:
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • Версия для компьютеров:
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

  GoogleOther

  GoogleOther – поисковый робот общего назначения, который может использоваться командами по работе над разными продуктами для получения общедоступного контента с сайтов. Например, с его помощью можно выполнять однократные операции сканирования для внутренних исследований и разработки.

  Токен агента пользователя	GoogleOther
  Полная строка агента пользователя	GoogleOther

  Google-Extended

  Google-Extended – отдельный токен продукта, который позволяет веб-издателям указать, поддерживают ли их сайты оптимизацию с использованием Bard и Vertex (API для создания контента с помощью искусственного интеллекта), а также последующих поколений моделей, лежащих в основе этих продуктов.

  Токен агента пользователя	Google-Extended
  Полная строка агента пользователя	В Google-Extended нет отдельной строки агента пользователя HTTP-запроса. Сканирование выполняется с помощью имеющихся строк агента пользователя Google. При этом токен агента пользователя из файла robots.txt применяется в целях проверки.

  Специальные поисковые роботы

  Специальные поисковые роботы используются определенными продуктами при наличии договоренности между ними и сайтами, которые сканируются такими роботами. Например, AdsBot игнорирует глобальный агент пользователя из файла robots.txt ( * ), если это разрешено издателем объявления. Такие роботы могут не учитывать правила robots.txt, поэтому работают из диапазона IP-адресов, не используемого основными поисковыми роботами. Диапазоны IP-адресов опубликованы в объекте special-crawlers.json.

  APIs-Google

  Используется в API Google для отправки push-уведомлений. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	APIs-Google
  Полная строка агента пользователя	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

  AdsBot Mobile Web Android

  Проверяет качество рекламы на веб-страницах, предназначенных для устройств Android. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	AdsBot-Google-Mobile
  Полная строка агента пользователя	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

  AdsBot Mobile Web

  Проверяет качество рекламы на веб-страницах, предназначенных для устройств iOS. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	AdsBot-Google-Mobile
  Полная строка агента пользователя	Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

  AdsBot

  Проверяет качество рекламы на веб-страницах, предназначенных для компьютеров. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	AdsBot-Google
  Полная строка агента пользователя	AdsBot-Google (+http://www.google.com/adsbot.html)

  AdSense

  Робот AdSense заходит на ваш сайт и определяет его содержание с целью размещения релевантных объявлений. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	Mediapartners-Google
  Полная строка агента пользователя	Mediapartners-Google

  Mobile AdSense

  Робот Mobile AdSense заходит на ваш сайт и определяет его содержание с целью размещения релевантных объявлений. Игнорирует глобальный агент пользователя ( * ) из файла robots.txt.

  Токен агента пользователя	Mediapartners-Google
  Полная строка агента пользователя	(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

  Google-Safety

  Агент пользователя Google-Safety выполняет сканирование, связанное со злоупотреблениями. Например, он ищет вредоносное ПО по общедоступным ссылкам, размещенным в сервисах Google. Этот агент игнорирует правила в файле robots.txt.

  Полная строка агента пользователя

  Google-Safety

  Инструменты для сбора данных о сайте, управляемые пользователем

  Такие инструменты для сбора данных активируются пользователями и обеспечивают работу функций определенного продукта. Например, Google Site Verifier выполняет действия по запросу пользователя. Так как сбор данных инициирует пользователь, такие инструменты, как правило, игнорируют правила из файла robots.txt. Диапазоны IP-адресов, которые они используют, опубликованы в объекте user-triggered-fetchers.json.

  Feedfetcher

  Feedfetcher используется, чтобы сканировать фиды RSS или Atom для Google Подкастов, Google Новостей и PubSubHubbub.

  Токен агента пользователя	FeedFetcher-Google
  Полная строка агента пользователя	FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

  Google Центр издателей

  Извлекает и обрабатывает фиды, которые были явным образом предоставлены издателями с помощью Google Центра издателей и предназначены для использования на целевых страницах в Google Новостях.

  Полная строка агента пользователя

  GoogleProducer; (+http://goo.gl/7y4SX)

  Google Read Aloud

  По запросу пользователя Google Read Aloud получает и зачитывает веб-страницы, преобразуя текст в речь.

  Текущие агенты пользователя:

  • Версия для компьютеров:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Мобильная версия:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

  Прежняя версия (больше не поддерживается):

  Google Site Verifier

  Google Site Verifier по запросу пользователя получает токены подтверждения Search Console.

  Полная строка агента пользователя

  Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

  Примечание о компоненте Chrome/W.X.Y.Z в строках агентов пользователей

  В строках, которые содержат элемент Chrome/W.X.Y.Z, сочетание символов W.X.Y.Z – это плейсхолдер для версии браузера Chrome, используемой агентом пользователя. Пример: 41.0.2272.96 . Это значение соответствует последней версии Chromium, которую использует робот Googlebot, и поэтому со временем оно будет возрастать.

  При поиске агента пользователя в журнале или на сервере не указывайте точное значение версии, а используйте подстановочные знаки.

  Агенты пользователей в файлах robots.txt

  Если в файле robots.txt обнаружится несколько токенов агентов пользователей, робот Google последует правилу с наиболее точно соответствующим ему токеном. Если вы хотите оставить сайт доступным для всех наших роботов, такой файл вообще не нужен. Чтобы запретить или разрешить всем поисковым роботам Google доступ к определенному контенту, укажите в правиле агент пользователя Googlebot. К примеру, чтобы все страницы сайта появлялись в Google Поиске, а на самих страницах показывались объявления AdSense, не используйте файл robots.txt. Если же вы решите полностью запретить Google сканировать некоторые страницы, то правило для агента пользователя Googlebot заблокирует доступ к контенту и всем остальным нашим роботам.

  Можно указать агент пользователя более точно. Предположим, вы хотите, чтобы все страницы сайта показывались в Google Поиске, но чтобы при этом не сканировались изображения из вашего личного каталога. В таком случае в файле robots.txt запретите агенту пользователя Googlebot-Image сканировать файлы в каталоге /personal. При этом робот Googlebot сохранит доступ к файлам во всех каталогах. Запись должна выглядеть следующим образом:

  User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal

  Рассмотрим другой пример. Вы хотите разместить на всех страницах рекламу, но сами страницы не должны появляться в Google Поиске. В таком случае следует полностью заблокировать доступ агенту пользователя Googlebot, но разрешить сканирование агенту пользователя Mediapartners-Google . Нужное правило должно выглядеть так:

  User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:

  Управление скоростью сканирования

  Поисковые роботы Google посещают сайты с разными целями. Периодичность их появлений тоже отличается. Чтобы определить оптимальную частоту сканирования каждого сайта, Google использует ряд алгоритмов. Если наш поисковый робот посещает ваш ресурс слишком часто, вы можете уменьшить частоту сканирования.

  Устаревшие поисковые роботы Google

  Указанные поисковые роботы Google больше не используются и перечислены здесь лишь для справки.

  Duplex в интернете

  Обеспечивал работу сервиса «Duplex в интернете».

  Токен агента пользователя	DuplexWeb-Google
  Полная строка агента пользователя	Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

  Web Light

  Проверял наличие заголовка no-transform , когда пользователь нажимал на ссылку на вашу страницу в результатах поиска при определенных условиях. Агент пользователя Web Light действовал, только когда посетитель явным образом запрашивал страницу в браузере. При этом правила в файле robots.txt блокируют только автоматические запросы на сканирование, поэтому они не относились к Web Light.

  Токен агента пользователя	googleweblight
  Полная строка агента пользователя	Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

  Mobile Apps Android

  Проверяет качество рекламы в приложениях для устройств Android. Следует правилам AdsBot-Google из файла robots.txt, но игнорирует в нем глобальный агент пользователя ( * ).

  Токен агента пользователя	AdsBot-Google-Mobile-Apps
  Полная строка агента пользователя	AdsBot-Google-Mobile-Apps

  Google Favicon

  • Googlebot-Image
  • Googlebot

  Отправить отзыв

  Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.

  Последнее обновление: 2023-12-14 UTC.

  Шесть способов проверить индексацию сайта или страницы

  Чтобы сайт отображался в результатах поиска, все его страницы, открытые для индексации, должны стать частью индекса поисковой системы. Если системе не удается добавить страницы сайта в базу данных, они остаются практически невидимыми для потенциальных клиентов.

  Предлагаю рассмотреть шесть способов проверки индексации. Выясним — почему поисковые системы не индексируют сайт, найдем пути решения проблем.

  • Как работает индексация сайта?
  • Проверка в Google Search Console
  • Как проверить индексацию конкретной страницы в Search Console?
  • Анализ индексации сайта в Google поиске
  • Проверка индексации онлайн с помощью сервисов
  • SEO-инструменты для проверки сайтов
  • Букмарклеты
  • Индексатор Google Indexing API
  • Почему Google не индексирует сайт?
  • Как ускорить индексацию сайта?
  • Как управлять краулинговым бюджетом?

  Как работает индексация сайта?

  На первый взгляд может показаться, что сканирование и индексация — два очень похожих процесса. Они действительно тесно взаимосвязаны, но являются разными этапами обработки сайта поисковыми системами.

  Сканирование — процесс поиска страниц для дальнейшей обработки и индексации.

  Индексация — процесс добавления просканированной страницы в базу данных (индекс) поисковой системы. Таким образом, при релевантном запросе пользователя, страница появится в результатах поиска:

  

  Важно. Сканирование сайта не означает его индексацию. А попадание сайта в индекс поисковой системы не гарантирует первых позиций поисковой выдачи, так как за порядок отображения страниц по ключевому запросу отвечает ранжирование.

  Netpeak ищет SEO-специалиста.

  

  Как проверить сайт на индексацию

  Проиндексирован — значит виден. Очень важно, чтобы все страницы, которые нужно показать потенциальным клиентам, пользователям или читателям, проиндексировались. Иначе может получиться так: товар или услуга лучшие на рынке, статья полностью раскрывает суть вопроса, но если страницы вашего сайта отсутствуют в индексе поисковой системы — про это никто не узнает.

  Именно поэтому важно уметь проверять индексацию.

  1. Проверка в Google Search Console

  Это один из базовых способов проверки индексации для владельца сайта и веб-мастера.

  Войдите в ваш аккаунт на Search Console и перейдите по вкладке «Страницы» в разделе «Индексирование»:

  

  В этом отчете вы найдете общую информацию о проиндексированных и непроиндексированных страницах с отображением на временной шкале:

  

  Перейдя в полный отчет, увидите подробные данные о всех страницах, проверенных на индексацию:

  

  Чтобы просмотреть отчет по неиндексируемым страницам и ошибкам индексации, вернитесь в раздел «Индексирование страниц»:

  

  Кликнув на левую колонку «Причина», можно увидеть списки страниц сайта, недоступных к индексации:

  

  Как проверить индексацию конкретной страницы в Search Console?

  Вставьте ссылку на интересующую вас страницу в строку поиска Search Console:

  

  В результате проверки увидите одно из следующих сообщений:

  • страница успешно проиндексирована;

  

  • страница отсутствует в индексе.

  

  Если вы внесли все необходимые изменения, но страница все еще отсутствует в индексе — отправьте запрос на пересканирование самостоятельно:

  1. Введите адрес страницы в инструменте проверки URL.
  2. Нажмите кнопку «Запросить индексирование».

  

  Этот же способ можно использовать для ускорения индексации новых страниц сайта — но не более 10 в день.

  При сканировании сразу нескольких страниц рекомендуется применять файл Sitemap.

  2. Анализ индексации сайта в Google поиске

  Поисковые операторы (например, «site:») помогают уточнить результаты поиска.

  Чтобы узнать о наличии вашего сайта в индексе Google, наберите в строке поиска «site:[url вашего сайта]»:

  

  Для проверки индексации конкретной страницы используйте оператор в формате «site:[url страницы вашего сайта]»:

  

  Если сайт или страница успешно проиндексированы, они отобразятся в результатах поиска. Появится информация о приблизительном количестве страниц вашего сайта, которые индексировалось поисковой системой:

  

  Кроме того, инструменты поиска могут проанализировать количество страниц, индексированных поисковой системой за определенный период времени:

  

  3. Проверка индексации онлайн с помощью сервисов

  Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта, таких как linkody.com или smallseotools.com. Их недостаток — лимиты: от 5 до 50 страниц.

  Однако, если ваш сайт подключен к Google Search Console, с помощью нового инструмента от Serpstat можно за один запрос проверить индексацию до 100 страниц.

  1. Перейдите в раздел «Инструменты» и выберите пункт «Индексация страниц»:

  

  1. Нажмите кнопку «Подключить Google Search Console» и войдите в сервис с помощью вашего аккаунта Google:

  

  1. После авторизации в верхней левой части страницы увидите список всех сайтов, к которым у вас есть доступ с помощью Google Search Console:

  

  1. Введите до 100 URL-адресов для проверки индексации сайта и нажмите кнопку «Проверить страницы». В правой части сервиса отобразятся результаты этой операции.

  4. SEO-инструменты для проверки сайтов

  Специальные программы, предназначенные для сканирования и анализа основных параметров сайта с целью выявления ошибок, могут также проверять индексацию.

  При сканировании сайта в Netpeak Spider вы получите список страниц и значения параметров, влияющих на индексацию сайта: robots.txt, canonical, mета robots, X-Robots-Tag, наличие редиректов и др.:

  

  Загрузив полученный список в Netpeak Checker, можно проверить наличие страницы или сайта в поисковой выдаче:

  

  5. Букмарклеты

  Букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки.

  Чтобы воспользоваться букмарклетом, откройте файл Проверка индексации и перетяните ссылку на панель закладок:

  Затем найдите интересующую вас страницу либо сайт и просто нажмите на закладку. Появится новая вкладка Google с поисковым запросом, использованием уточняющего оператора «site:» и результатами индексации по запросу.

  6. Индексатор Google Indexing API

  Google Indexing API — бесплатный индексатор от Google, с помощью которого можно:

  • узнать, когда последний раз Google получал информацию по запрошенному URL-адресу;
  • отправить запрос на переиндексацию страницы;
  • отправить запрос на удаление страницы из индекса.

  Важным преимуществом Google Indexing API является возможность пакетных запросов индексирования, объединенных в один HTTP (до 100 штук). В день можно использовать не более 200 запросов, но если на ваших страницах внедрена разметка JobPosting или BroadcastEvent — вы можете подать заявку на увеличение квоты.

  Подробнее о квотах индексатора и его подключении читайте в справке Google.

  Почему Google не индексирует сайт?

  1. Новый сайт. В зависимости от количества страниц, полная индексация нового сайта может занять у Googlebot от одной недели до 2-4 месяцев.
  2. Принудительное закрытие страниц от индексации.

  Тег noindex запрещает индексирование страниц поисковому роботу. Для исключения проблем, вызванных неправильным применением тега noindex, необходимо проверить следующие директории:
  Метатег robots
  Размещается в HTML коде и действует на уровне страницы. Пример метатега robots, запрещающего сканирование —
  
  X-Robot-Tag
  Является HTTP-заголовком, размещается в файле конфигурации сервера. Пример X-Robot-Tag, запрещающего сканирование —
  X-Robots-Tag: noindex, nofollow
  Файл robots.txt
  С помощью robots.txt невозможно управлять непосредственно индексацией сайта, но неправильная конфигурация этого файла может привести к полному закрытию для сканирования поисковыми роботами.
  Строка в robots.txt, полностью закрывающая сайт от сканирования —
  User-agent: * Disallow: /

  1. Неправильное использование тега canonical. Тег canonical применяется для борьбы с дублирующимся контентом, который также может быть одной из причин плохой индексации сайта. Он указывает поисковому роботу на предпочитаемую версию страницы. При сканировании URL-адрес, указанный в теге canonical, будет воспринят Googlebot как основная версия, среди похожих по содержанию страниц.

  Помимо настроек, которые напрямую ограничивают или запрещают сканирование сайта, стоит отметить следующие факторы, негативно влияющие на скорость индексации:

  • Отсутствие карты сайтаsitemap.xml. Она помогает поисковым роботам понять его структуру и быстрее просканировать страницы.
  • Отсутствие либо недостаточность внутренних ссылок. Правильная и равномерная перелинковка на сайте распределяет ссылочный вес страниц, а добавление ссылок на новые страницы сайта, а также страницы, которые уже находятся в индексе, помогает поисковым системам быстрее находить их.
  • Скорость работы сайта. Googlebot не находится на сайте постоянно. Он лишь периодически сканирует контент его страниц. Медленная скорость загрузки сайта усложняет его индексацию и работу алгоритмов поискового робота.
  • Качество контента. Последние обновления поисковой системы Google предполагают улучшение качества контента и создание авторитетных материалов — в первую очередь для людей, а не для манипуляции алгоритмами поиска. При оценке качества контента вашего сайта Google учитывает наличие орфографических ошибок, достоверность информации, оригинальность и другие факторы. Подробнее о создании полезного контента можно узнать в Google-справке.
  • Отсутствие оптимизации мобильной версии. Для новых сайтов, созданных после 1 июля 2019 года, Google использует метод индексации Mobile-First index, отдающий предпочтение индексации мобильной версии сайта. Такое решение компании вызвано тем, что уже в 2016 году более половины запросов в Google выполнялись с мобильных устройств.
  • Игнорирование ошибок в Google Search Console. Изучите отчет об ошибках в поисковой консоли Google. Посмотрите, какие из найденных ошибок, влияют на индексацию сайта и устраните их. Так же проверьте, не подвергался ли ваш сайт ручным санкциям. Возможно, его доменное имя ранее было ограничено в связи с нарушением правил Google.

  Как ускорить индексацию сайта?

  Возможности Googlebot по сканированию сайта ограничиваются краулинговым бюджетом — лимитом на проверку страниц за один визит. Узнать приблизительный краулинговый бюджет вашего сайта можно в Search Console (раздел «Индексация») — просмотрите отчет по количеству страниц, обработанных за месяц поисковой системой:

  

  Краулинговый бюджет меняется по заложенному поисковой системой алгоритму: в зависимости от размера сайта, скорости его работы и потребностей. Если обнаружено много ошибок или мусорных страниц, бюджет может расходоваться быстрее.

  Факторы, негативно влияющие на краулинговый бюджет:

  • дубли страниц;
  • неуникальный контент;
  • битые ссылки;
  • слишком большое количество редиректов;
  • медленная скорость работы сайта.

  Как управлять краулинговым бюджетом?

  Помимо фактического управления краулинговым бюджетом с помощью индексатора Google Index API, уменьшить его расход можно с помощью технической оптимизации и улучшения качества контента.

  Файл sitemap.xml.
  Проверьте содержимое XML-карты сайта, убедитесь, что все указанные в ней страницы открыты к индексации и отдают код ответа сервера 200, установите автоматические добавление новых страниц (открытых к индексации) в файл sitemap.xml.

  Дата изменения страницы.
  Настройте HTTP заголовки Last-Modified и If-Modified-Since, чтобы указать Googlebot на страницы, контент которых не изменился с его последнего посещения (они не требуют повторного сканирования).

  Оптимизация скорости загрузки сайта .
  Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Проверьте скорость работы сайта с помощью PageSpeed Insights, оптимизируйте страницы исходя из рекомендаций.

  Редиректы и битые страницы.
  Не допускайте большого количества редиректов и битых страниц на сайте. В противном случае, вместо посещения нового контента, Googlebot будет расходовать свой краулинговый бюджет на переходы по неработающим позициям.

  Оптимизация перелинковки .
  Добавьте ссылки на новый контент на главную страницу сайта, выведите превью анонса недавних статей, покажите новинки товаров. Организуйте перелинковку между старыми и свежими материалами, разместите ссылки на новые страницы в соцсетях — это поможет поисковому роботу быстрее их найти и просканировать.

  Частота обновления сайта.
  Поисковые системы отдают предпочтение актуальной и качественной информации. Регулярно обновляйте содержимое своего сайта, добавляйте новый контент не реже, чем раз в неделю, актуализируйте и дополняйте информацию на старых страницах.

  Запомнить

  Шесть способов самостоятельно проверить индексацию сайта или страницы:

  1. В Google Search Console.
  2. С помощью операторов поиска.
  3. Онлайн-сервисами.
  4. SEO-инструментами, например, Netpeak Spider или Netpeak Checker.
  5. Используя букмарклеты.
  6. Google Indexing API.

  Для улучшения индексации сайта:

  1. Настройте и оптимизируйте карту сайта sitemap.xml.
  2. Проверьте настройки файла robots.txt и использование тега noindex.
  3. Следите за количеством редиректов и наличием битых страниц.
  4. Работайте над перелинковкой сайта.
  5. Улучшите скорость загрузки страниц.
  6. Создавайте качественный контент и регулярно работайте над его обновлением и улучшением.
  7. Оптимизируйте расходование краулингового бюджета.
  8. Не забывайте о мобильной версии сайта.
  9. Регулярно изучайте отчеты об ошибках в Google Search Console.

  В команде SEO Netpeak с августа 2022 года. Сейчас Junior SEO Specialist в Netpeak Agency.
  Заинтересовалась SEO после посещения мероприятий и курсов от Netpeak и с того момента мечтала стать частью команды.

  Узнайте больше

  

  383

  Похожие публикации:

  1. Как из смешанной дроби сделать десятичную
  2. Как открыть канализацию в гренни 2
  3. Как разблокировать гугл аккаунт на хонор
  4. Как сделать сайт на html и css