5 методов узреть веб-сайт очами поисковика: анализируем сокрытый контент и cloaking
Как SEO-специалисту притвориться поисковым ботом и поглядеть хоть какой веб-сайт очами Yandex’а, Гугл либо другого поисковика? Разберем 5 обычных инструментов, которые помогают найти сокрытый контент либо клоакинг.
P. S.: 90% веб-сайтов в вебе имеют эту делему!
Спойлер
Как упомянул выше, у 90% веб-сайтов есть трудности со сокрытым контентом для поисковых роботов. И нет, они не постоянно соединены с серверным рендерингом и javascript на страничке. Кто желает резвее выяснить, это user-agent замена данных, о которой я упомяну во всех 5 методах.
Что это для вас даст?
- Вы не только лишь можете глядеть как поисковый бот, но поймете, как разные веб-сайты употребляют «темные» способы оптимизации и как избегают санкций поисковых машин. Самое принципиальное, что вы вынесете из данной нам статьи, это способы отслеживания укрытого контента.
- Естественно же, вы поймете, какой контент у вас не лицезреют боты, и можете его проиндексировать, тем увеличите поисковый трафик.
Очевидные методы проверки
Естественно, почти все употребляют для проверки инструмент «Проверка ответа сервера в Yandex Веб-мастер» либо «Проверка для оптимизации мобильных устройств от Гугл». Но что созодать, если веб-сайт под базисной авторизацией и поисковых роботов туда просто не пустит? Ниже разбираемся тщательно…
User-agent поисковиков
Чтоб пользоваться 5-ю способами ниже, вы должны осознавать, что такое user-agent, для что они необходимы и какие user-agent бывают у поисковиков.
|
Что такое user-agent? |
Для что нужен user-agent? |
Какие бывают user-agent? |
|
Это строчка, которая обычно отчаливает браузером во время запроса к серверу. Она содержит информацию о клиентском программном обеспечении, операционной системе, версии и остальных деталях, которые помогают серверу найти, как отвечать на запрос. |
Он помогает серверу осознать, кто вы, и показать контент с учетом ваших предпочтений, ограничений и иной сопутствующей инфы. Грубо говоря, помогает сделать лучше пользовательский опыт. |
Они бывают различные, но как SEO-специалистов нас интересует мобильный и десктопный user-agent. Другими словами, как поисковые боты глядят на наши веб-сайты с мобильных устройств и рабочего стола. Вот здесь можно поглядеть документация по user-agent Yandex’а и user-agent Гугл. |
Резюмируя, user-agent это просто «бездушная строчка», которую ваш браузер или браузер поисковых роботов посылает на сервер запрашиваемого веб-сайта. А этот веб-сайт уже дает контент, который считает необходимым. Тем, зная user-agent поисковиков, мы можем притворяться ими и глядеть HTML-код под видом Yandex’а либо Гугл.
Метод 1: cURL
Сложность инструмента: средне

CURL (Client for URLs) – командная утилита для передачи данных по сети.
Если проще, то это интегрированная утилита в терминал Windows и MAC OS, которая может ходить по данному вами URL и получать разные данные. Но нас заинтересовывают лишь данные по HTTP header и HTML странички.
Создаем запрос в CURL
Чтоб поглядеть HTML веб-сайта как поисковый бот и узреть HTTP HEADER, мы создаем запрос последующего нрава, где
- curl – заглавие программки,
- -i – запрос на получение HTML странички и HTTP header,
- -A – под каким user-agent необходимо входить на веб-сайт.

Учтите, что CURL запрашивает информацию впрямую с сервера веб-сайта и не эмулирует javascript на страничке!
Что получаем от сервера
В обратку получаем HTTP Header и HTML код веб-сайта. HTTP Header поможет нам выяснить коды ответа сервера, robots, canonical и остальные характеристики. А HTML покажет для вас, какой код лицезреет конкретно поисковик, в нашем примере Yandex.

Итого, в нашем примере за 1 минутку мы получили ответ сервера, приспособленный под поисковик Yandex’а. Осталось сейчас лишь сопоставить то, что дал CURL для Yandex’а, и то, что дал ваш браузер. Как тщательно ассоциировать, я сказал в конце статьи в пт «Как сопоставить приобретенные данные?».
Плюсы и минусы cURL
|
Плюсы |
Минусы |
|
Может обходить базисную авторизацию веб-сайтов и глядеть на демо-контуре. |
Не умеет обходить остальные типы авторизации. |
|
Указывает на 100% четкие данные. |
Не умеет обходить captcha, защиты от ddos и фаерволы. |
|
Есть по дефлоту на любом устройстве: Windows и MAC. |
Если SSL-сертификат у веб-сайта не валидный, то CURL не сумеет зайти на веб-сайт, и необходимо создавать доп опции. |
|
Не удачный UX/UI, весь код выводится в терминале и не структурирован. |
|
|
Просит малые познания в работе GET, POST и остальных видов запросов. |
|
|
Просит познания разных характеристик, -i, -A и остальные. |
|
|
Не эмулирует javascript. |
Метод 2: SEO ALL STARS

Сложность инструмента: просто
Расширение для Гугл Chrome SEO ALL STARS – мульти-функциональное и дозволяет узреть контент (текст, заглавия, ссылки, HTML), который не лицезреет поисковый бот. Также ассоциирует метатеги, анализирует ссылки, серверные и javascript редиректы, HTTP headers, скорость загрузки.
Установить расширение можно в магазине Chrome web store, кликнув сюда.
Шаг 1: открываем хоть какой веб-сайт
Опосля того как установили расширение, открываем хоть какой веб-сайт и жмем на расширение. Я тестировал на домене detmir.ru.
Шаг 2: опции
Заходим в опции и избираем подходящего для вас бота. Доступны Yandex mobile, Yandex desktop, Гугл mobile, Гугл desktop. Я для теста избрал Гугл desktop.

Шаг 3: пролистываем до блока Differences
3.1 В первом блоке можем узреть разницу в количестве слов и количестве HTML-символов меж нашим браузером и тем, как лицезреет веб-сайт Гугл. Разница в 1080 слов и 172487 знаков в HTML.

3.2 Во 2-м блоке мы можем узреть разницу в контенте от сервера веб-сайта, который отдаем нашему браузеру и Гугл.

3.3 А вот этот блок считаю самым лучшим! Он указывает, сколько текста и HTML не лицезреет Гугл на веб-сайте. Здесь сходу можно выявить делему рендеринга.
Еще он указывает, какой текст не лицезреет наш браузер, а лицезреет Гугл. Здесь можно выяснить о «черном» SEO и выявить cloaking.

3.4 Чтоб поглядеть, какой текст не лицезреет Гугл, нажмите на Missing Text. Для просмотра невидимого HTML, жмем Missing HTML. Можем сходу осознать, какие главные слова Гугл не учитывает, и предпринимаем деяния.

Шаг 4: остальной функционал
Незначительно обрисую функционал, который посчитал полезным тоже. Расширение изготовлено на логике сопоставления вашего браузера и того, что лицезреет поисковый бот.
4.1 Выслеживает, какие URL на странички укрыты от поисковиков. Указывает как внутренние ссылки, так и наружные.
4.2 Выслеживает, какие заглавия < H > не лицезреет поисковик либо ваш браузер.

4.3 Выслеживает разницу меж метатегами у вас и у поисковика. Весьма полезно, когда на веб-сайтах меняют метатеги через javascript. Обыденные расширения этого не покажут.
4.4 Выслеживает сокрытые редиректы. Полезно тогда, когда для вас страничка дает 200 ответ, а поисковому боту 301 и подсовывает ему иную информацию.

Плюсы и минусы SEO ALL STARS
|
Плюсы |
Минусы |
|
Указывает, какой текст и HTML поисковые боты не лицезреют на страничке. |
Лишь на британском языке. |
|
Указывает, как контент различается меж тем, что лицезреет ваш браузер и что лицезреет поисковый бот. |
Доступно лишь 2 поисковых бота: Гугл и Yandex. Недозволено вручную указать остальные user-agent. |
|
Показывает, какие ссылки на страничке индексируются поисковыми ботами, а какие нет. |
Данные для поисковых роботов не прогрузятся, если у веб-сайта стоит защита Cloudflare либо captcha. |
|
Ассоциирует различие метатегов у вашего браузера и поисковых роботов. |
Приобретенный HTML не структурирован, необходимо скопировать его в постороннее приложение для анализа. |
|
Указывает на 100% четкие данные. |
Метод 3: Postman

Сложность инструмента: средне
Postman – инструмент для тестирования и разработки с отправкой HTTP-запросов к серверу и их анализа. Утилита доступна для Windows и MAC, скачать можно на официальном веб-сайте www.postman.com.
Как SEO-специалисты мы будем употреблять Postman максимум на 10% от его функционала. Другие способности больше необходимы для тестирования API и разработки.
Создаем запрос в Postman
1. Открываем Postman и жмем на «плюсик», так мы создаем новейший HTTP-запрос.

2. В поле избираем GET и вставляем необходимым нам URL, мы будем инспектировать https://pr-cy.ru/.

3. Перебегаем во вкладку Headers, в поле Key вводим User-Agent, а в поле Value вводим самое значение user-agent, в нашем примере Yandex’а – Mozilla/5.0 (compatible; YandexBot/3.0; + http://yandex.com/bots) и жмем клавишу SEND.

4. Ниже в области BODY мы увидим приобретенный HTML-код конкретно таковым, каким лицезреет его Yandex в десктопной версии (поэтому что user-agent мы употребляли для десктопных устройств).
5. А если надавить на CONSOLE, то сможем проанализировать HTTP Headers и цепочки редиректов!

Плюсы и минусы Postman
|
Плюсы |
Минусы |
|
Указывает на 100% четкие данные. |
Не умеет обходить captcha, защиты от ddos и фаерволы. |
|
Выдает структурированный HTML, с которым комфортно работать. |
Просит малые познания в работе GET, POST и остальных видов запросов. |
|
Можно обходить фактически всякую авторизацию веб-сайтов. Можно глядеть веб-сайты на демо-контурах. |
Не эмулирует javascript. |
Метод 4: Chrome DevTools

Сложность инструмента: тяжело
Кажется, Chrome DevTools в представлении не нуждается, но все таки дадим короткое определение. Chrome DevTools – это набор инструментов для разрабов, позволяющий отлаживать, тестировать и профилировать код в настоящем времени.
Вы скажете, а при этом здесь Гугл Chrome DevTools, ведь Chrome грузит javascript. В данном способе мы будем проверять вкладку Network и Network condition, чтоб настроить подходящий нам user-agent и глядеть ответ сервера без постороннего javascript. Погнали!
Шаг 1: Устанавливаем user-agent
- Открываем в браузере подходящую страничку.
- Жмем на 3 вертикальные точки, избираем More tools и жмем на Network Condition.

- Убираем галочку с пт User agent Use browser default.
- Вставляем user-agent бота, в нашем случае Yandex’а.

Шаг 2: Смотрим ответ от сервера для нашего поискового бота
- Перебегаем во вкладку Network.
- Прокручиваем в самый верх и избираем нашу страничку.
- В поле Headers смотрим HTTP Headers, а в поле Response смотрим, какой HTML-код получил бы Yandex.

Плюсы и минусы Chrome DevTools
|
Плюсы |
Минусы |
|
Решаем задачку в одном пространстве, браузере Гугл Chrome либо схожих. |
Времязатратный инструмент в связи с тем, что необходимо переключаться по почти всем вкладкам в панели разраба. |
|
Указывает на 100% четкие данные. |
Опосля установки user-agent и перехода в Network непременно необходимо перезагружать страничку, что растрачивает время анализа. |
|
Дозволяет обойти captcha, защиты от ddos и фаерволы. |
Просит техническое осознание HTML, HTTP Headers. |
|
Можно глядеть любые веб-сайты под авторизацией, на демо-контурах. |
Метод 5: JS Switcher

Сложность инструмента: просто
Данный метод не является 100% четким, потому что у проверяемого веб-сайта может стоять посторонний пререндеринг, и при выключении javascript от вас спрячется контент, но по факту поисковый бот его может созидать.
JS Switcher – это расширение для SEO-специалистов и разрабов, которое верно отключает javascript на любом веб-сайте. Установить расширение можно в магазине Chrome web store, кликнув сюда.
Как употреблять JS Switcher?
UX весьма обычный. Просто устанавливаете расширение в браузер и нажимаете на него. Цветной значок означает, что javascript работает. Сероватый значок означает, что javascript выключен.
Плюсы и минусы JS Switcher
|
Плюсы |
Минусы |
|
Быстрота отключения javascript на страничке. |
Отключение лишь javascript не гарантирует того, что увидит поисковый бот. |
|
Отключает с перезагрузкой и деструкцией всех скриптов. |
Не умеет глядеть впрямую очами поисковых роботов, инициирует код со стороны вашего браузера. |
Резюмируем: какой инструмент лучше употреблять и когда?
cURL: удачный для получения сырого HTTP header и HTML, но не эмулирует javascript и просит познания характеристик запросов. Безупречный, чтоб «въехать» в тему.
SEO ALL STARS: мультифункциональное расширение для Chrome, которое сберегает массу времени. Выводит уже невидимый контент для поисковых роботов. Совершенно, если вы нередко анализируете веб-сайты и не желаете руками ассоциировать HTML и тексты.
Postman: подойдет для тех, кто желает сам проанализировать приобретенный HTML и сопоставить его со своим. Тратится огромное количество времени, но исследования время от времени дают доп инсайты.
Chrome DevTools: инструмент для экспертов. В состоянии сделать все что угодно. Необходимо только разобраться. Просит высочайшие познания сайтостроения, работы сервера и способностей javascript.
JS Switcher: расширение для отключения javascript, стремительно, но точность данных ограничена, быть может сокрытый от роботов контент.