Просмотреть как Googlebot

В мае 2014 года Google выпустил и анонсировал принципиально новый инструмент, относимый к статистике и сбору информации о сайте, - "Посмотреть как Googlebot" с графическим рендером страниц сайта.

Google и раньше умел распознавать элементы сайта, которые выполняются браузером пользователя - javascript и css, а после запуска нового инструмента пользователи воочию смогли убедиться, что именно и как читает Google на их сайтах.

Режим сканирования и отображения

Посмотреть как Googlebot

Этот инструмент носит сугубо диагностический характер. С его помощью (кнопка Сканировать и отобразить) можно понять, получит ли Googlebot всю необходимую информацию со страницы сайта или нет. Таким образом проверятся видимость контента после воздействия на него скриптов, например, и достаточно удобно инспектировать мобильную версию сайта (см. на скриншоте четыре варианта сканирования), а также принудительно добавлять в индекс страницы в проблемных случаях.

В данном примере "Посмотреть как Googlebot" определил, что мобильная версия находится по другой ссылке и предложил проверить её.

Посмотреть как Googlebot - список страниц

И добавить в индекс:

Отправка в индекс ссылок при помощи инструмента Посмотреть как Googlebot

Результат - графическое отображение страницы сайта. В примере это главная страница мобильного сайта:

Отображение мобильного сайта в Инструментах для веб-мастеров Google

Режим сканирования
Для того, чтобы посмотреть, как Googlebot видит страницы в исходном коде и какой ответ сервера получает, воспользуйтесь опцией простого сканирования без рендера (кнопка Сканировать).

Результат:

Посмотреть как Googlebot - исходная страница сайта


Что касается заблокированного контента, то инструмент прекрасно распознаёт страницы, закрытые от сканирования в robots.txt:



Но не умеет пока определять ответ Noindex (x-robots-tag) и аналогичный атрибут метатега robots.

Похожие статьи:
Кеш Google

Полезные ссылки:
Rendering pages with Fetch as Google
Об инструменте "Просмотреть как Googlebot"
О сканировании, индексировании и ранжировании
Резкий рост ошибок 404