Посмотреть сайт глазами робота
В некоторых случаях бывает интересно посмотреть HTML код понравившейся станицы. Например узнать какой .js библиотекой достигнут тот или иной функционал, а может заинтересовали CSS стили оформления и.т.д. Но откравая страницу правой кнопкой мыши мы можем иногда наблюдать сжатый код написанный в одну строчку, ну и разумеется без подсветки кода. Что согласитесь затрудняет поиск заинтересовавшего куска кода. Наш онлайн сервис поможет открыть HTML в удобочитаемом виде с подсветкой и форматированием кода.
Введите корректный адрес сайта
* В некоторых случаях ресурс закрыт от просмотра кода сторонними сайтами и тогда мы не сможем Вам показать исходный код.
Глаз робота отличается от пользователя.
Это связано с тем, что некоторые сайты могут отдавать различный контент в зависимости от пользователя или робота.
Например интернет магазин для пользователя может отдаваться различый контент в зависимости от региона проживания.
Метод черной поисковой оптимизации — называется «клоакинг» Термин произошел от английского слова to cloak – маскировать, прятать, скрывать — Сайты, отдающие разный контент пользователям и роботам поисковых систем.
Такие сайты Яндекс и Google относят к некачественным сайтам и объявили за клоакинг жесткие штрафные санкции, от пессимизации до бана.
Ярким примером клоакинга могут служить каталоги ссылок скрывающие прямые ссылки от роботов , но показывающие их простому пользователю, который никак не может понять почему же его сылка не видна в поисковых системах.
Обратите внимание, что к клоакингу не относится показ различного содержание веб-ресурса если пользователь просматривает его как авторизованный (через логин и пароль). Также не имеет отношение к клоакингу просмотр динамических страниц с разными URL переменными например URL = user и URL = bot.
Наш онлайн инструмент для веб-мастера позволяет просмотреть код HTML глазами поискового робота Googlebot и робота Яндекса.
Список HTTP USER AGENT:
Пользователь — Я Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.45 Safari/535.19
Основной робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Зеркальщик — робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)
Картинки — робот Яндекса — Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
Видео — робот Яндекса Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)
Вебмастер — робот Яндекса Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)
Индексатор мультимедийных данных — робот Яндекса Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)
Поиск по блогам — робот Яндекса Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)
APIs-Google — робот Google PIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense — робот Google Mediapartners-Google
AdsBot Mobile Web Android — робот Google Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web — робот Google Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot-Google (+http://www.google.com/adsbot.html) AdsBot — робот Google)
Googlebot Images — робот Google Googlebot-Image/1.0
Googlebot News — робот Google Googlebot-News
Googlebot Video — робот Google Googlebot-Video/1.0
Googlebot — робот Google Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense — робот Google (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps Android — робот Google AdsBot-Google-Mobile-Apps
Просмотр html станицы сайта
Данный инструмент покажет html код страницы с подсветкой синтаксиса кода. Просмотр документов html теперь будет визуально удобочитаемым.
Программа просмотра html документов основана на получении данных с помощью PHP скрипта.
Просмотр html страницы сайта — это первый шаг в изучении программирования веб-документов используя HTML разметки , CSS и JS.
Просмотр исходного кода страницы
Инструмент для просмотра кода страницы любого адреса в интернете.
Сервис показывает:
- код страницы;
- заголовки;
- код состояния HTTP;
- IP-адрес и код ответа сервера;
- кодировку сайта;
- сервер;
- внутренние и внешние ссылки страницы, количество индексируемых.
Зачем проверять, как поисковый робот видит страницу?
- Разные пользователи видят разный контент. Это может зависеть от того, залогинился ли пользователь, в каком регионе он находится, какой язык установлен в настройках браузера.
- Некоторые веб-мастеры намеренно показывают пользователям и поисковым роботам разный контент, это называется «клоакинг». С помощью сервиса «Сайт глазами поискового робота» вы можете проверить, нет ли на сайте скрытого контента.
- Сервис поможет детально рассмотреть сайты ваших конкурентов, чтобы быстро найти заголовки с ключевыми запросами, по которым они продвигаются, и узнать, какие технологии использованы на сайтах.
Ссылки на странице
Список всех ссылок на любой странице.
Сайт глазами поискового робота
Просмотр HTML кода любой страницы.
Проверка скорости сайта
Аналог PageSpeed Insights.
Проверка битых ссылок
Проверка работоспособности ссылок на странице.
Проверка установленных ссылок
Проверит установлена ли ваша ссылка на указанных страницах.
Проверка обратных ссылок
Анализа обратных ссылок домена.
Создание Favicon
Из вашей картинки соберет набор иконок.
Генерация robots.txt
Поможет запретить нужные урлы от индексации.
Проверка Canonical cтраницы
Проверьте правильность установки канонического адреса.
Определение CMS сайта
Проверим все технологии на сайте.
DNS параметры домена
Вся информация о DNS домена.
XML Sitemap генератор
Инструмент создаёт сайтмап по вашему списку ссылок.
Проверка ответа сервера
Проверка HTTP-заголовков любой страницы.
Проверка блокировки Роскомнадзор
Проверим домен или IP-адрес на блок РКН.
Проверка SSL сертификата
Работоспособность и дата окончания SSL.
Проверка x-Robots Tag
HTTP-заголовок для запрета от индексации.
Возраст домена
Определяем возраст по дате whois.
Проверка IP-адреса сайта
Быстрая проверка IP домена.
Проверка скорости загрузки HTML
Быстрая проверка загрузки HTML страницы.
Проверка сайта на вирусы
Проверит сайт на безопасность в поиске Google & Яндекс.
Проверка заголовков H1
Покажет структуру заголовков на странице.
Проверка IP в спам базах
Проверка на спам с сайта.
Проверка размера страницы
Быстрая проверка размера любой страницы.
Проверка состояния сайта
Доступен ли сайт в данный момент.
Проверка спиппета страницы
Предпросмотр сниппета до отображения в поиске.
Узнать стоимость сайта
Оценка сайта по объёму трафика.
ООО «Анализ Сайта»
ИНН 5256210197
ОГРН 1235200031890
Как видит сайт яндекс бот?
А зачем Вам такой сервис? Яндекс видит тоже, что и Гугл, если нет запрещающих директив. У гугла всего лишь графический интерпритатор, а в сервисе mobile-friendly он только показывает заблокированные стили и шрифты, если Вы к этому спрашиваете
12.12.2017 23:22
Просто у меня для яндекса отдельные директивы в робот.тхт, опасаюсь немного
User-Agent: Yandex
Disallow: /?
Disallow: /*?
Disallow: /*feed?type=
Disallow: /index.php
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: */images/images/MEBELFOTO/
Disallow: */images/images/FASADY/
Allow: /*/*.png*
Allow: /*/*.jpg*
Allow: /*/*.gif*
Взгляните на свою страницу глазами робота Googlebot
Функция «Просмотреть как Googlebot» в Инструментах для веб-мастеров позволяет понять, как ваша страница выглядит для роботов Googlebot. Заголовки серверов и код HTML помогают выявить ошибки и последствия взлома, но иногда разобраться в них бывает затруднительно. Веб-мастера обычно хватаются за голову, когда им приходится заниматься решением таких проблем. Чтобы помочь вам в подобных ситуациях, мы усовершенствовали эту функцию, и теперь она может показывать страницу с помощью того же алгоритма, который использует робот Googlebot.
Как отображается просканированная страница
При обработке страницы робот Googlebot ищет и импортирует из внешних источников все связанные с ней файлы. Обычно это изображения, таблицы стилей, элементы JavaScript и другие файлы, встраиваемые с помощью CSS или JavaScript. Система использует их для отображения страницы так, как ее видит робот Googlebot.
Функция Просмотреть как Googlebot доступна в разделе «Сканирование» вашего аккаунта Инструментов для веб-мастеров. Обратите внимание, что обработка страницы с ее последующим показом может занять достаточно продолжительное время. После ее завершения наведите указатель мыши на строку, в которой указан нужный URL, чтобы просмотреть результат. 
для обычного робота Googlebot 
для робота Googlebot для смартфонов
Обработка ресурсов, заблокированных в файле robots.txt
При обработке кода робот Googlebot учитывает инструкции, указанные в файле robots.txt. Если они запрещают доступ к тем или иным элементам, система не будет использовать такие материалы для предварительного просмотра. Это произойдет и в том случае, если сервер не отвечает или возвращает ошибку. Соответствующие данные можно найти в разделе Ошибки сканирования вашего аккаунта Инструментов для веб-мастеров. Кроме того, полный перечень таких сбоев отобразится после того, как будет создано изображение страницы для предварительного просмотра.
Мы рекомендуем обеспечить Googlebot доступ ко всем встроенным ресурсам, которые есть на сайте или в макете. Это упростит работу с функцией «Просмотреть как Googlebot», позволит роботу обнаружить и правильно проиндексировать контент вашего сайта, а также поможет вам понять, как выполняется сканирование ваших страниц. Некоторые фрагменты кода, такие как кнопки социальных сетей, скрипты инструментов аналитики и шрифты, обычно не определяют оформление страницы, а значит их сканирование не обязательно. Подробнее о том, как Google анализирует веб-контент, читайте в предыдущей статье.
Надеемся, что наше нововведение поможет вам решить проблемы с оформлением сайта и обнаружить ресурсы, которые Google по тем или иным причинам не может просканировать. Если у вас есть вопросы, свяжитесь с нами в сообществе для веб-мастеров на Google Plus или поищите ответ на справочном форуме Google для веб-мастеров.
- Блог компании Google Developers
- Поисковые технологии