Где находится robots txt wordpress

Robots.txt в WordPress

По умолчанию в WordPress нет такого физического файла в движке как «robots.txt«. При запросе к этому файлу его содержание создаётся программно. Но если создать в корневой папке сайта этот файл, то можно указать в нём любое содержание.

Файл «robots.txt» — это обычный текстовый файл, который можно отредактировать блокнотом. Создайте этот файл, откройте текстовым редактором и пропишите в нём строки:

User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: *?s= Disallow: *&s= Disallow: /search Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Allow: */uploads Allow: /*.css Allow: /*.js Host: домен_сайта.ru Sitemap: https://домен_сайта.ru/sitemap.xml

На предпоследней строке стоит директива «Host», которая указывает на главное зеркало сайта. Замените значение «домен_сайта» на свой домен.

На последней строке стоит директива «Sitemap», которая указывает на файл «sitemap.xml» Вашего сайта, поэтому заменить в её значении «домен_сайта» на свой домен.

Сохраните файл «robots.txt» после внесения изменений и загрузите файл на сервер.

Рекомендуем ознакомиться со статьёй «Загрузка файлов на сайт с помощью FileZilla», в которой описан процесс работы с программой, которая может загрузить файл с вашего компьютера на сервер с сайтом. А так же с одной из статей. описывающих редактор файлов на сервере: «Средство разработки: Notepad++» или «Средство разработки: Atom»

Как создать и настроить robots.txt для WordPress

Robots.txt — это текстовый файл, который добавляется на сайт и используется для разрешения или запрета индексации страниц веб-ресурса роботами поисковых систем. Robots.txt содержит инструкции, которые говорят поисковым роботам, какие страницы или разделы сайта показывать в результатах поиска, а какие нет.

Для чего нужен robots.txt

Robots.txt нужен для настройки индексации страниц и разделов веб-ресурсов. С его помощью можно улучшить SEO-оптимизацию сайта и улучшить распределение трафика. Важно отметить, что файл robots.txt не является инструментом безопасности и не может полностью скрыть конфиденциальные данные, размещенные на сайте.

Файл robots.txt выполняет следующие задачи:

1. Говорит поисковым роботам, какие страницы сайта должны быть проиндексированы, а какие нет: так robots.txt регулирует восприятие сайта поисковыми системами.
2. Скрывает конфиденциальную информацию, расположенную на сайте, из поисковых индексов. Например, данные платежных карт или личная информация могут быть скрыты с помощью правильной настройки robots.txt.
3. Защищает сервер и ресурсы сайта от ботов, которые могут сканировать его в поисках уязвимостей в защите.
4. Увеличивает скорость загрузки сайта. Если некоторые страницы вашего сайта не нуждаются в индексации, заблокируйте их с помощью robots.txt – это уменьшит размер сайта и количество запросов к серверу, что, в свою очередь, ускорит загрузку страниц.
5. Улучшает SEO-оптимизацию сайта. С помощью настройки robots.txt вы можете указать наиболее важные страницы для индексации и отображения в результатах поиска.

Где расположен robots.txt на сайте с CMS WordPress

На сайте с CMS WordPress файл robots.txt находится в корневой директории сайта. Если адрес вашего сайта https://example.ru, то файл robots.txt будет находится по адресу https://example.ru/robots.txt.

При наличии файла robots.txt на сайте вы увидите набор правил индексации:

Чтобы создать или изменить содержание файла robots.txt используйте любой текстовый редактор (например, Emacs, Блокнот, TextEdit) или плагин, разработанный для управления robots.txt (например, WordPress Robots.txt File, All in One SEO Pack или Yoast SEO). Если вы работаете со стандартной конфигурацией WordPress, файл robots.txt будет автоматически создан при установке CMS. Если вы использовали специальную настройку для блокировки поисковых роботов, то файл мог быть изменен или удален.

Для высокой скорости работы вашего сайта на WordPress выбирайте оптимизированный хостинг для CMS. Требования к хостингу с поддержкой WordPress уже учтены, сама система управления сайтом предустановлена на каждом тарифе, что позволяет сразу же приступить к работе над сайтом.

Как создать файл robots.txt

Создание robots.txt вручную

Если у вас нет готового файла robots.txt и вы хотите его создать вручную, используйте любой текстовый редактор, например, Блокнот.

1. Откройте текстовый редактор.
2. Напишите название вашего сайта и описание его содержимого.
3. Затем добавьте инструкции для поисковых роботов. Вы можете использовать следующий код, чтобы запретить индексацию раздела новостей за 2022 год роботами Яндекса:

1. Сохраните файл с именем robots.txt.
2. Загрузите файл robots.txt на сервер. Вы можете загрузить его через FTP-клиент или при помощи консоли управления хостингом.

Создание robots.txt с помощью плагина

Вы можете использовать различные плагины для создания robots.txt, например, плагин Yoast SEO или Better Robots.txt. Так как Yoast SEO является популярным плагином у веб-разработчиков покажем на его примере как создавать файл robots.txt.

С помощью плагина Yoast SEO создавать и управлять файлом robots.txt можно прямо из интерфейса WordPress. Плагин является одним из наиболее востребованным – его установили более 5 миллионов раз. Для создания robots.txt с помощью Yoast SEO следуйте инструкции:

1. Установите и активируйте плагин Yoast SEO на WordPress.
2. В боковой панели CMS выберите раздел SEO и перейдите на страницу Файлы и выберите вкладку robots.txt.
3. Если у вас еще нет файла robots.txt, кликните на кнопку Создать файл robots.txt.
4. Укажите инструкции для поисковых роботов, которые будут обозначать, какие страницы нужно индексировать, а какие нет. Сделать это можно автоматически с помощью плагина или вручную, добавив готовые инструкции.
5. Нажмите Сохранить, чтобы применить внесенные в файл изменения.

После создания файла robots.txt через плагин Yoast SEO он будет автоматически сохранен на вашем сервере и использоваться для управления поведением поисковых роботов.

Пример robots.txt

Приведем некоторые примеры, которые помогут вам настроить файл robots.txt:

1. Запретить индексацию всего сайта:

1. Запретить индексацию конкретных страниц:

1. Запретить индексацию конкретного каталога:

1. Запретить индексацию любых файлов с расширением PDF:

1. Разрешить индексацию всего сайта, кроме конкретной папки:

1. Запретить индексацию страниц, содержащих конфиденциальную информацию:

Рекомендации по настройки robots.txt в WordPress

При настройке файла robots.txt на сайте WordPress соблюдайте рекомендации ниже, чтобы оказать положительное влияние на SEO-оптимизацию вашего сайта.

1. Определите, какие страницы вашего сайта не требуют индексации поисковыми роботами. Например, это может быть страница авторизации, корзина или любые другие страницы, которые не являются информативными или по другим причинам не должны быть доступны для поисковой индексации.
2. Не разрешайте доступ к важным каталогам или файлам, которые можно скрыть от поисковых роботов.
3. Проверьте правильность настройки файла robots.txt с помощью специальных инструментов (о них будет рассказано ниже).
4. Обновляйте файл robots.txt, если вы добавили или удалили страницы или каталоги на сайте.
5. Не блокируйте доступ к картам сайта (sitemap.xml), так как это может привести к ухудшению SEO-рейтинга вашего сайта.

Правильная настройка robots.txt может увеличить скорость загрузки сайта за счет блокирования малозначительных страниц. Если вы не уверены в правильности своих настроек, лучше обратиться к профессионалам и получить консультацию по настройке файла robots.txt для вашего сайта. В RU-CENTER вы можете воспользоваться услугой Администрирование по запросу.

Инструмент проверки файла robots.txt

Предлагается несколько инструментов для проверки корректности файла robots.txt. Они помогают выявить ошибки, которые могут стать причиной неправильной работы поисковых роботов на сайте. Такие сервисы также предоставляют рекомендации по исправлению выявленных проблем, что позволяет улучшить индексацию сайта. Рассмотрим самые популярные из них: Яндекс.Вебмастер и Google Console.

• Анализ robots.txt в Яндекс Вебмастер

Проверка robots.txt в Яндекс Вебмастере – бесплатный инструмент, который помогает владельцам сайтов проводить анализ в поисковой системе Яндекс.

Чтобы проанализировать работу файла robots.txt с помощью сервиса от Яндекс, зарегистрируйте свой сайт в Яндекс Вебмастер и выполните следующие действия:

1. Откройте раздел Инструменты и выберите меню Анализ robots.txt
2. В поле Проверить URL введите адрес своего сайта и нажмите Проверить.
3. После завершения проверки вы получите данные в виде таблицы, где будет отображен список разделов файла robots.txt и их настройки. Там же вы найдете сколько страниц было заблокировано с помощью инструкций Disallow.

В Яндекс Вебмастер предусмотрены возможности фильтрации списка разделов и настройки сортировки результатов. При обнаружении ошибок в настройках файла robots.txt, сервис предложит рекомендации по их устранению.

• Анализ robots.txt в Google Console

С помощью Google Console вы можете бесплатно провести анализ и выполнить настройки своего сайта в поисковой системе Google.

Если у вас еще нет аккаунта в Google Console, зарегистрируйтесь. Далее выполните несложные шаги:

1. Перейдите в раздел Crawling и выберите пункт robots.txt Tester.
2. В поле Test a robots.txt file введите адрес своего сайта и нажмите Test.
3. Дождитесь завершения проверки.

Итоги анализа файла robots.txt будут представлены в виде таблицы, где вы увидите разделы файла robots.txt и их настройки. Здесь же будет размещена информация о том, сколько страниц было заблокировано с помощью инструкций Disallow. Вы можете выполнить фильтрацию или сортировку полученных данных.

Кроме указанных выше инструментов вы можете использовать другие сервисы по проверке файла robots.txt:

• SEO SiteCheckup – платный сервис с множеством встроенных инструментов для работы с SEO-оптимизацией. SEO SiteCheckup предоставляет удобную проверку файла robots.txt на ошибки и предлагает рекомендации по его настройке.
• Robotto – бесплатный инструмент, который предоставляет детализированный отчет по файлу robots.txt. Он находит ошибки и предлагает рекомендации по их устранению.
• Ryte – еще один платный инструмент, который позволяет проверить файл robots.txt и узнать, сколько страниц было заблокировано с использованием инструкций Disallow.

Заключение

Перед созданием файла robots.txt составьте список страниц сайта, которые требуют индексации и список из страниц, которые не должны быть просканированы поисковыми роботами. Следите за корректностью синтаксиса и структуры файла, чтобы избежать ошибок в его работе.

С помощью специальных инструментов, таких как Google Console и Яндекс Вебмастер, проверяйте и оптимизируйте настройки файла robots.txt, чтобы обеспечить более эффективную индексацию сайта поисковыми системами.

Где находится robots.txt в WordPress?

10.02.2021

По умолчанию Вордпресс автоматически создает файл robots.txt для любого сайта. Но тут есть ряд нюансов. Во-первых, пользователь не знает, где находится robots.txt в WordPress. Во-вторых, не сможет его отредактировать.

Стандартный файл мало кому подходит по настройкам, поэтому его обязательно нужно редактировать, указав, какие директории следует закрыть от индексации, а какие оставить доступными для поисковиков. И для этого необходимо знать все о файле robots.txt в wordpress: где его найти, как его настроить и т.д. Рассмотрим данный вопрос подробнее.

Проверяем наличие файла robots.txt

Итак, система WordPress автоматически создает виртуальный файл robots.txt. Но есть исключения. И перед тем как его искать, необходимо удостовериться, что он существует.

Самый простой способ это проверить – дописать к адресу сайта строчку /robots.txt. Должно получиться примерно так:

Если данный файл есть, то откроется новая страница примерно с таким содержанием:

В файле robots.txt указано несколько строчек, поэтому он считается некорректным. Его нужно изменить, подробно указав, что можно индексировать, а что – нельзя. Но виртуальный файл отредактировать не получится, нужно создавать его физическую версию на хостинге.

Разумеется, предварительно нужно понять, где в сайте на WordPress лежит файл robots.txt, ведь новый файл должен находиться там же, где и предыдущий. В противном случае поисковики его не найдут и посчитают, что его попросту нет (что считается критической ошибкой при продвижении сайта).

Где найти и как работать с файлом robots.txt?

Файл robots.txt лежит в корневой директории сайта. Открыть его можно разными способами.

Первый – через панель управления хостингом. В данном случае нужно перейти по пути: www/адрес_сайта.

Здесь расположены папки:

• wp-admin;
• wp-content;
• wp-includes.

И ниже находятся различные файлы, в том числе и robots.txt.

Второй способ – с помощью FTP-клиента, установленного на компьютере. Например, через программу Filezilla.

Алгоритм действий аналогичный:

• заходите на хостинг с помощью Filezilla;
• открываете папки www/адрес_сайта;
• находите файл robots.txt.

Выделив его и нажав правую кнопку мыши, вы можете его отредактировать. Либо создать новый, если файл отсутствует.

Третий способ – с помощью специальных плагинов WordPress (Yoast SEO или All in One SEO) .

Они выполняют множество полезных функций, в том числе умеют создавать файл robots.txt для сайта на WordPress. Данный вариант очень прост и отлично подходит начинающим пользователям. Достаточно установить подходящий плагин и отредактировать содержимое файла robots.txt сайта на WordPress.

Не надо заходить в панель управления хостинга или ставить на компьютер FTP-клиент. Плюс не придется разбираться, где искать файл в WordPress (SEO плагин сам создаст файл в нужном месте и сохранит изменения).

И последний вариант – проконсультироваться с менеджерами компании, у которой заказывали хостинг сайта.

Это уже самая крайняя мера, которая выручит тех, кто совершенно не разбирается в том, как зайти в панель управления или поставить SEO плагин. Менеджеры помогут разобраться в данном вопросе и подробно объяснят, где найти и как правильно настроить файл robots.txt для вашего сайта.

Понравилась статья? Расскажите о ней друзьям:

Файл robots.txt для WordPress

Рассмотрим, зачем нужен файл robots.txt для WordPress, где он находится на хостинге и как настроить правильный robots.txt для WordPress.

Для чего нужен файл robots.txt?

Для того чтобы сайт начал отображаться в Яндекс, Google, Yahoo и других поисковых системах (ПС), они должны внести его страницы в свои каталоги. Этот процесс называется индексацией.

Чтобы проиндексировать тот или иной веб-ресурс, поисковые системы посылают на сайты поисковых роботов (иногда их называют ботами). Они методично сканируют и обрабатывают содержимое каждой страницы сайта. После окончания индексации начинается «социальная жизнь» ресурса: его контент попадается пользователям в результатах поиска по запросам.

Многие сайты создаются на готовых движках и CMS (системах управления контентом) WordPress, Joomla, Drupal и других. Как правило, такие системы содержат страницы, которые не должны попадать в поисковую выдачу:

• временные файлы (tmp);
• личные данные посетителей (private);
• служебные страницы (admin);
• результаты поиска по сайту и т. д.

Чтобы внутренняя информация не попала в результаты поиска, ее нужно закрыть от индексации. В этом помогает файл robots.txt. Он служит для того, чтобы сообщить поисковым роботам, какие страницы сайта нужно индексировать, а какие — нет. Иными словами, robots.txt — это файл, состоящий из текстовых команд (правил), которыми поисковые роботы руководствуются при индексации сайта.

Наличие robots.txt значительно ускоряет процесс индексации. Благодаря нему в поисковую выдачу не попадают лишние страницы, а нужные индексируются быстрее.

Где находится robots.txt WordPress?

Файл robots.txt находится в корневой папке сайта. Если сайт создавался на WordPress, скорее всего, robots.txt присутствует в нем по умолчанию. Чтобы найти robots.txt на WordPress, введите в адресной строке браузера:

https://www.домен-вашего-сайта/robots.txt

• Если файл присутствует, откроется страница с перечнем правил индексации. Однако чтобы редактировать их, вам потребуется найти и открыть robots.txt на хостинге. Как правило, он находится в корневой папке сайта:

• Если же файл robots.txt по какой-то причине отсутствует, вы можете создать его вручную на своем компьютере и загрузить на хостинг или воспользоваться готовыми решениями (плагинами WordPress).

Как создать файл robots.txt для WordPress?

Есть два способа создания robots.txt:

1. Вручную на компьютере.
2. С помощью плагинов в WordPress.

Первый способ прост лишь на первый взгляд. После создания пустого документа и загрузки его на сайт, вы должны будете наполнить его содержанием (директивами). Ниже мы расскажем об основных правилах, однако стоит учитывать, что тонкая настройка требует специальных знаний SEO-оптимизации.

Создание robots.txt вручную
Откройте программу «Блокнот».

Нажмите Файл → Сохранить как… (или комбинацию клавиш Ctrl + Shift + S):

Введите название robots.txt и нажмите Сохранить.

Откройте корневую папку сайта и загрузите в нее созданный файл по инструкции. Готово, вы разместили пустой файл и после этого сможете редактировать его прямо в панели управления хостингом.

Создание robots.txt с помощью плагина
Откройте административную панель WordPress по инструкции.

Перейдите в раздел «Плагины» и нажмите Добавить новый:

Введите в строке поиска справа название Yoast SEO и нажмите Enter.

Нажмите Установить → Активировать:

Перейдите к настройкам плагина, выбрав в меню SEO → Инструменты. Затем нажмите Редактор файлов:

Нажмите Создать файл robots.txt:

Нажмите Сохранить изменения в robots.txt: Готово, файл с минимальным количеством директив будет создан автоматически.

Настройка robots.txt WordPress

После создания файла вам предстоит настроить robots.txt для своего сайта. Рассмотрим основы синтаксиса (структуры) этого файла:

• Файл может состоять из одной и более групп директив (правил).
• В каждой группе должно указываться, для какого поискового робота предназначены правила, к каким разделам/файлам у него нет доступа, а к какому — есть.
• Правила читаются поисковыми роботами по порядку, сверху вниз.
• Файл чувствителен к регистру, поэтому если название раздела или файла задано капслоком (например, FILE.PDF), именно так стоит писать и в robots.txt.
• Все правила одной группы должны следовать без пропуска строк.
• Чтобы оставить комментарий, нужно прописать шарп (#) в начале строки.

Все правила в файле задаются через двоеточие. Например:

User-agent: Googlebot

Где User-agent — команда (директива), а Googlebot — значение.

Основные директивы и их значения

User-agent — эта директива указывает, на каких поисковых роботов распространяются остальные правила в документе. Она может принимать следующие значения:

• User-agent: * — общее правило для всех поисковых систем;
• User-agent: Googlebot — робот Google;
• User-agent: Yandex — робот Яндекс;
• User-agent: Mai.ru — робот Mail.ru;
• User-agent: Yahoo Slurp — робот Yahoo и др.

У крупнейших поисковых систем Яндекс и Google есть десятки роботов, предназначенных для индексации конкретных разделов и элементов сайтов. Например:

• YandexBot — для органической выдачи;
• YandexDirect — для контекстной рекламы;
• YandexNews — для новостных сайтов и т. п.

Для решения некоторых специфических задач веб-разработчики могут обращаться к конкретным поисковым роботам и настраивать правила исключительно для них.

Disallow — это директива, которая указывает, какие разделы или страницы нельзя посещать поисковым роботам. Все значения задаются в виде относительных ссылок (то есть без указания домена). Основные правила запрета:

• Disallow: /wp-admin — закрывает админку сайта;
• Disallow: /cgi-bin — запрет индексации директории, в которой хранятся CGI-скрипты;
• Disallow: /*? или Disallow: /search — закрывает от индексации поиск на сайте;
• Disallow: *utm* — закрывает все страницы с UTM-метками;
• Disallow: */xmlrpc.php — закрывает файл с API WordPress и т. д.

Вариантов того, какие файлы нужно закрывать от индексации, очень много. Вносите значения аккуратно, чтобы по ошибке не указать контентные страницы, что повредит поисковой позиции сайта.

Allow — это директива, которая указывает, какие разделы и страницы должны проиндексировать поисковые роботы. Как и с директивой Disallow, в значении нужно указывать относительные ссылки:

• Allow: /*.css или Allow: *.css — индексировать все css-файлы;
• Allow: /*.js — обходить js-файлы;
• Allow: /wp-admin/admin-ajax.php — разрешает индексацию асинхронных JS-скриптов, которые используются в некоторых темах.

В директиве Allow не нужно указывать все разделы и файлы сайта. Проиндексируется всё, что не было запрещено директивой Disallow. Поэтому задавайте только исключения из правила Disallow.

Sitemap — это необязательная директива, которая указывает, где находится карта сайта Sitemap. Единственная директива, которая поддерживает абсолютные ссылки (то есть местоположение файла должно указываться целиком): Sitemap: https://site.ru/sitemap.xml , где site.ru — имя домена.

Также есть некоторые директивы, которые считаются уже устаревшими. Их можно удалить из кода, чтобы не «засорять» файл:

• Crawl-delay. Задает паузу в индексации для поисковых роботов. Например, если задать для Crawl-Delay параметр 2 секунды, то каждый новый раздел/файл будет индексироваться через 2 секунды после предыдущего. Это правило раньше указывали, чтобы не создавать дополнительную нагрузку на хостинг. Но сейчас мощности современных процессоров достаточно для любой нагрузки.
• Host. Указывает основное зеркало сайта. Например, если все страницы сайта доступны с www и без этого префикса, один из вариантов будет считаться зеркалом. Главное — чтобы на них совпадал контент. Раньше зеркало нужно было задавать в robots.txt, но сейчас поисковые системы определяют этот параметр автоматически.
• Clean-param. Директива, которая использовалась, чтобы ограничить индексацию совпадающего динамического контента. Считается неэффективной.

Пример robots.txt

Рассмотрим стандартный файл robots.txt, который можно скопировать и использовать для блога, заменив название домена в директиве Sitemap и убрав комментарии (текст справа, включая #):

User-agent: * # общие правила для всех поисковых роботов Disallow: /wp-admin/ # запретить индексацию папки wp-admin (все служебные папки) Disallow: /readme.html # закрыть доступ к стандартному файлу о программном обеспечении Disallow: /*? # запретить индексацию результатов поиска по сайту Disallow: /?s= # запретить все URL поиска по сайту Allow: /wp-admin/admin-ajax.php # индексировать асинхронные JS-файлы темы Allow: /*.css # индексировать CSS-файлы Allow: /*.js # индексировать JS-скрипты Sitemap: https://site.ru/sitemap.xml # указать местоположение карты сайта

Как редактировать robots.txt на WordPress?

Чтобы внести изменения в файл robots.txt, откройте его в панели управления хостингом. Используйте плагин Yoast SEO (или аналогичное решение в WordPress) для редактирования файлов:

Проверка работы файла robots.txt

Чтобы убедиться в корректности составленного файла, используйте стандартный инструмент Яндекс.Вебмастер:

Перейдите в раздел Инструменты → Анализ robots.txt.

Содержимое robots.txt обновится автоматически. Нажмите Проверить:

Если в синтаксисе файла будут ошибки, Яндекс укажет, в каких строчках проблема и даст рекомендации по исправлению.

Помогла ли вам статья?

Спасибо за оценку. Рады помочь ��