Запрет индексации страниц в поиске Google
Если вы хотите избавиться от низкокачественных, неактуальных, конфиденциальных страниц или дублей в результатах поиска Google, предлагаем ознакомиться с тремя популярными способами удаления URL из выдачи мирового поисковика.
Способ #1: С помощью Google Search Console
Старый метод
Страницы принадлежащие вашему сайту можно легко удалить с помощью Google Search Console. Сайт должен быть авторизован в сервисе Google для Вебмастеров.
Инструкция по удалению URL с помощью Google Search Console:
- Обратитесь к инструменту для удаления URL от Google, он находится здесь,
- Выберите подтвержденный ресурс,
- Нажмите на кнопку Временно скрыть , введите URL и нажмите Продолжить ,
- Подтвердите операцию с помощью кнопки Отправить запрос .
По умолчанию, Google временно удалит URL из кеша и исключит его из поиска.
Страница пропадет из Google поиска примерно на 90 дней. Каждый новый URL-адрес будет иметь статус «Ожидающий удаления», но вы легко можете отменить этот запрос нажав кнопку Отмена .
Имейте ввиду, что этот способ — временный. Если страница продолжает находится на вашем сайте спустя 90 дней, возможно, Google снова начнет показывать ее в результатах поиска.
Новый метод
В новой версии Google Search Console появился инструмент для удаления URL. Его можно найти в левой колонке в разделе «Индекс». Примечательно, что временное скрытие страниц из Google было расширено до 6 месяцев или 180 дней, что вдвое больше предыдущей квоты.
Чтобы удалить URL через обновленную консоль, выполните:
- Обратитесь к инструменту для удаления URL, теперь он находится здесь,
- Выберите сайт,
- Создайте запрос для удаления страницы во вкладке «Временные удаления» с помощью кнопки Создать запрос ,
- Введите URL страницы или раздела, который хотите скрыть и нажмите След. ,
- Подтвердите действие кнопкой Отправить запрос .
Способ #2: Используйте мета-тег noindex
Мета-тег noindex самый простой способ удалить страницу из результатов поиска или запретить ей индексироваться. Мета-тег это маленький отрывок кода в заголовке HTML-файла вашей страницы. Он запрещает Google и другим поисковым системам ее индексировать.
Вот как он выглядит:
Иногда можно встретить комбинацию noindex, follow вместо noindex — оба варианта имеют одинаковый эффект.
Вы можете добавить такой код вручную на ваш сайт, если имеете доступ к редактированию разметки HTML. Если вы используете WordPress, то большинство SEO-плагинов предоставляют опции запрета индексации отдельных постов, страниц и категорий.
Например, в популярном плагине Yoast SEO для WordPress это можно сделать во вкладке «Разрешить поисковым системам показывать запись в результатах поиска?», изменив статус «По умолчанию» на «Нет». Так, вы добавите мета-тег noindex в заголовок страницы.
Страницы должны исчезнуть из поиска, когда поисковой робот вновь обойдет их. Ускорить процесс можно с помощью инструмента по удалению устаревшего контента Google. Это лучший способ запрета индексирования контента или удаления ненужных URL.
Пока тег noindex присутствует на страницах, они не попадут в поле зрения краулера и не будут показываться в результатах поиска. Мета-тег noindex также поможет исключить страницы из других поисковых систем, включая Яндекс, Bing и Yahoo.
Вы также можете применить мета-тег noindex ко всему сайту, чтобы убрать все ваши страницы из результатов поиска. В WordPress это можно сделать в панели управления: Настройки > Чтение. Установите флажок «Попросить поисковые системы не индексировать сайт» в блоке «Видимость для поисковых систем».
Не используйте этот прием на работающем сайте, если не хотите потерять поисковой трафик.
Способ #3: Удаление URL навсегда
Если страница не преследует никакой цели, вы можете просто удалить ее с сайта навсегда. В момент сканирования страницы роботом, сервер сообщит ему о том, что такая страница не найдена (404) или удалена навсегда (410).
Отметим, что лучше использовать вызов серверной ошибки 410, так как стандартная ошибка 404 Not Found в дальнейшем может привести к повторному индексированию URL, подробнее об этом можно узнать из справки Google.
Проверка ответа от сервера с помощью инструмента от сервиса Яндекс Вебмастер
Иногда, страница которую вы хотите убрать из поиска может иметь устойчивый трафик или входящие ссылки, которые несут ценность для SEO.
В таком случае, для удобства пользователей лучше использовать 301 редирект для перенаправления новых посетителей и поискового робота на другую релевантную страницу или раздел.
Не рассчитывайте на Robots.txt
Robots.txt — специальный файл, который используется для регулирования процесса индексации сайта поисковыми системами.
Например, с его помощью вы можете ограничить доступ робота Google к конкретным страницам и разделам вашего сайта. Как показывает практика, полностью полагаться на этот файл не совсем правильно.
Если у страницы, которую вы хотите удалить из поиска есть трастовые входящие ссылки, Google может проигнорировать требования Robots.txt и показать страницу в поиске с ограниченным сниппетом.
Как удалить весь сайт из Google
Лучший способ удалить сайт из Google это добавить тег noindex к каждой странице. Вы также можете использовать плагин для ограничения доступа к контенту с помощью серверной авторизации, если проще — установить пароль для скачивания и просмотра документа пользователями.
Кроме того, вы можете заблокировать сайт от обхода роботов, указав в robots.txt следующее:
User-agent: * Disallow: /Как удалить URL-адреса с сайтов, которыми вы не владеете
Гораздо сложнее удалить страницы из Google если они не принадлежат сайту, который вы контролируете. Тем не менее, если кто-то скопировал ваш контент, то у вас есть возможность удалить его из Google заполнив форму о нарушении авторских прав (DMCA).
Лучше всего начать с отправки запроса о нарушении авторских прав хостинговой компании в которой обслуживается нарушитель.
Также вы можете отправить запрос о нарушении прав непосредственно в Google, используя инструменты поддержки. Кроме того, Google сделал детальный гид о удалении стороннего контента.
Но, если для удаления страницы нет надлежащей юридической причины это, как правило, невозможно. Лучший способ удаления таких страниц это отправка письма вебмастеру напрямую с просьбой удалить ворованный или конфиденциальный контент.
Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе
Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.
Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то персональные данные, да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.
Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.
Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.
Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.
Удаление сайта из поиска Google
Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.
Google предоставляет 3 варианта удаления:
- временный;
- удаление сайта навсегда;
- удаление сайта из-за нежелательного контента.
Рассмотрим каждый по отдельности.
Временное удаление сайта
Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.
Для этого в Search Console переходим в раздел «Индекс» =>»Удаления» и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.
После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.
Google даст на выбор два варианта удаления:
- Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
- Скрыть весь каталог и страницы, которые с ним связаны
Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.
Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.
Удаление страниц или сайта навсегда
Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:
- Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
- Установить пароль, чтобы заблокировать доступ к контенту
- С помощью метатега noindex запретить сканирование страницы:
- Документы в формате PDF рекомендуется удалять с сервера полностью
Больше статей на схожую тематику:
- Упали позиции сайта: почему так произошло и что с этим делать?
- SEO-продвижение в 2024 году: 10 актуальных трендов и рекомендаций
- Как применять гибкую методологию Agile в SEO-продвижении
Удаление сайта из-за нежелательного контента
Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.
Проходим по ссылке, выбираем продукт Google, где находится нежелательный контент.
Далее выбираем причину блокировки и нажимаем на кнопку «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.
Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.
Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.
Удаление сайта из поиска Яндекс
В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.
Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.
Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 http://example.com/404.html. и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в :
Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.
После этого можно отслеживать состояние статуса в данном разделе:
- в очереди на добавление
- в процессе
- удалена
- отклонено
После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.
Нравится статья? Тогда смотрите наши курсы!
- Курс «SEO-интенсив»
- Мини-курс «Правильное SEO при алгоритмах Y1 и MUM»
- SEO-марафон «10-часовой интенсив по продвижению сайта»
Другие способы удаления страниц сайта из поиска
Редиректы
Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).
Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.
- 301 редирект для навсегда удаленных или перемещенных страниц
- 302 редирект для временно неактуальных страниц, которые останутся в поиске
Для настройки редиректа можно воспользоваться специальным сервисом, указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.
Метатег noindex
Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.
Устанавливается в HTML-коде страницы в . Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.
Прописывается noindex так:
- Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег: . или.
- Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.
- Далее сохраняем.
После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.
Также метатег noindex можно использовать совместно с тегом nofollow. Например, дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.
Важно понимать, что для удаления контента может потребоваться не один день.
Disallow в robots.txt
Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.
Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page
Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.
Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.
Пароль на странице или разделе
Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.
Примеры роста кликов, конверсий, заказов и прибыли:
- Как SEO-продвижение помогло увеличить количество конверсий
- Рост трафика для языковой онлайн-школы на 450%
- Рост трафика на 401% у медицинской клиники при регулярном SEO сопровождении
Вывод
На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.
Если у вас возникнут трудности при удалении страниц или сайта из поиска или любые другие технические проблемы, то всегда можно обратиться к нам – мы обязательно поможем.
13
0
0
0
0
Спасибо за реакцию, она бесценна! Обязательно подпишитесь на наш Telegram-канал, публикуем много интересных и актуальных материалов. Не пользуетесь Telegram, тогда познакомьтесь с Катей и подпишитесь на нашу рассылку. ×
Как удалить sitemap из Google Search Console
vorfey:
Собственно вопрос описан в теме. В старом интерфейсе было просто, поставил галочку и удалил. В новом интерфейсе не могу найти. А удалить как-то надо. В мануале от гугла только как добавить и обновить
В новом интерфейсе не нашел такой возможности, но Вы можете сообщить об этом в поддержку Google http://prntscr.com/l7pc65 А почему не воспользуетесь старым интерфейсом?
Seo — инструменты: tools.discript.ru (tools.discript.ru)
На сайте с 01.10.2017
19 октября 2018, 08:59
А как переключаться? В эдвордс есть переключатель, а здесь не нашел
Спасибо! Нашел как, не туда смотрел. Просто в эдворс вверху переключаться между старым и новым, а тут в самом низу
На сайте с 11.09.2018
24 октября 2018, 14:17
Как вариант — заменить на другой, корректный, если текущий вас не устраивает. Старый автоматически затрется. Если вообще не хотите чтобы гугл через сайтмап жрал УРЛ-адреса — просто создайте пустой xml-файл без урлов.
Как удалить из Google страницу, размещенную на вашем сайте
Если вы не являетесь владельцем страницы, то прочтите статью о том, как удалить свою личную информацию из Google .
Если вы воспользуетесь инструментом удаления URL, то страница вашего сайта будет исключена из результатов поиска Google в течение дня.
Зачастую на одну и ту же страницу ведут разные URL, например example.com/puppies , example.com/PUPPIES и example.com/petchooser?pet=puppies , поэтому, чтобы заблокировать контент в Google, нужно удалить или скрыть все указывающие на него URL. Узнайте, как найти URL страницы или изображения.
Как удалить контент из Google Поиска навсегда
Запросы, сделанные с помощью инструмента удаления URL, учитываются нашими системами в течение шести месяцев. Если вы хотите навсегда заблокировать страницу в результатах поиска Google, выполните одно из следующих действий:
- Удалите или измените контент на нужной странице. Это самый надежный способ. Он гарантирует, что ваша страница не появится в других поисковых системах, которые могут не принимать во внимание тег noindex , и не будет видна пользователям.
- Защитите страницу паролем. В этом случае контент будет виден пользователям, которым вы предоставите доступ к странице, но поисковые роботы (например, Googlebot) не смогут ее индексировать.
- Добавьте на страницу тег noindex . Тег noindex блокирует ее показ в результатах поиска Google. При этом другие поисковые системы, не принимающие во внимание тег noindex , а также обычные пользователи по-прежнему могут получить доступ к странице.
Как удалить изображение из результатов поиска
Как удалить информацию из других сервисов Google
Чтобы удалить контент из других сервисов Google, следуйте инструкциям в документации к этим сервисам. Например, вы можете:
- запретить показ контента в Google Покупках и некоторых других наших сервисах;
- отредактироватьпрофиль своей компании в Google;
- изменить информацию в блоке знаний.
Как удалить контент с сайта, который принадлежит не вам
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2023-12-06 UTC.