5 методов узреть веб-сайт очами поисковика: анализируем сокрытый контент и cloaking

Как SEO-специалисту притвориться поисковым ботом и поглядеть хоть какой веб-сайт очами Yandex’а, Гугл либо другого поисковика? Разберем 5 обычных инструментов, которые помогают найти сокрытый контент либо клоакинг.

P. S.: 90% веб-сайтов в вебе имеют эту делему!

Спойлер

Как упомянул выше, у 90% веб-сайтов есть трудности со сокрытым контентом для поисковых роботов. И нет, они не постоянно соединены с серверным рендерингом и javascript на страничке. Кто желает резвее выяснить, это user-agent замена данных, о которой я упомяну во всех 5 методах.

Что это для вас даст?

  1. Вы не только лишь можете глядеть как поисковый бот, но поймете, как разные веб-сайты употребляют «темные» способы оптимизации и как избегают санкций поисковых машин. Самое принципиальное, что вы вынесете из данной нам статьи, это способы отслеживания укрытого контента.
  2. Естественно же, вы поймете, какой контент у вас не лицезреют боты, и можете его проиндексировать, тем увеличите поисковый трафик.

Очевидные методы проверки

Естественно, почти все употребляют для проверки инструмент «Проверка ответа сервера в Yandex Веб-мастер» либо «Проверка для оптимизации мобильных устройств от Гугл». Но что созодать, если веб-сайт под базисной авторизацией и поисковых роботов туда просто не пустит? Ниже разбираемся тщательно…

User-agent поисковиков

Чтоб пользоваться 5-ю способами ниже, вы должны осознавать, что такое user-agent, для что они необходимы и какие user-agent бывают у поисковиков.

Что такое user-agent?

Для что нужен user-agent?

Какие бывают user-agent?

Это строчка, которая обычно отчаливает браузером во время запроса к серверу. Она содержит информацию о клиентском программном обеспечении, операционной системе, версии и остальных деталях, которые помогают серверу найти, как отвечать на запрос.

Он помогает серверу осознать, кто вы, и показать контент с учетом ваших предпочтений, ограничений и иной сопутствующей инфы. Грубо говоря, помогает сделать лучше пользовательский опыт.

Они бывают различные, но как SEO-специалистов нас интересует мобильный и десктопный user-agent. Другими словами, как поисковые боты глядят на наши веб-сайты с мобильных устройств и рабочего стола. Вот здесь можно поглядеть документация по user-agent Yandex’а и user-agent Гугл.

Резюмируя, user-agent это просто «бездушная строчка», которую ваш браузер или браузер поисковых роботов посылает на сервер запрашиваемого веб-сайта. А этот веб-сайт уже дает контент, который считает необходимым. Тем, зная user-agent поисковиков, мы можем притворяться ими и глядеть HTML-код под видом Yandex’а либо Гугл.

Метод 1: cURL

Сложность инструмента: средне

CURL (Client for URLs) – командная утилита для передачи данных по сети.

Если проще, то это интегрированная утилита в терминал Windows и MAC OS, которая может ходить по данному вами URL и получать разные данные. Но нас заинтересовывают лишь данные по HTTP header и HTML странички.

Создаем запрос в CURL

Чтоб поглядеть HTML веб-сайта как поисковый бот и узреть HTTP HEADER, мы создаем запрос последующего нрава, где 

  • curl – заглавие программки, 
  • -i – запрос на получение HTML странички и HTTP header, 
  • -A – под каким user-agent необходимо входить на веб-сайт.

Учтите, что CURL запрашивает информацию впрямую с сервера веб-сайта и не эмулирует javascript на страничке!

Что получаем от сервера

В обратку получаем HTTP Header и HTML код веб-сайта. HTTP Header поможет нам выяснить коды ответа сервера, robots, canonical и остальные характеристики. А HTML покажет для вас, какой код лицезреет конкретно поисковик, в нашем примере Yandex.

Итого, в нашем примере за 1 минутку мы получили ответ сервера, приспособленный под поисковик Yandex’а. Осталось сейчас лишь сопоставить то, что дал CURL для Yandex’а, и то, что дал ваш браузер. Как тщательно ассоциировать, я сказал в конце статьи в пт «Как сопоставить приобретенные данные?».

Плюсы и минусы cURL 

Плюсы

Минусы

Может обходить базисную авторизацию веб-сайтов и глядеть на демо-контуре.

Не умеет обходить остальные типы авторизации.

Указывает на 100% четкие данные.

Не умеет обходить captcha, защиты от ddos и фаерволы.

Есть по дефлоту на любом устройстве: Windows и MAC.

Если SSL-сертификат у веб-сайта не валидный, то CURL не сумеет зайти на веб-сайт, и необходимо создавать доп опции.

Не удачный UX/UI, весь код выводится в терминале и не структурирован.

Просит малые познания в работе GET, POST и остальных видов запросов.

Просит познания разных характеристик, -i, -A и остальные.

Не эмулирует javascript.

Метод 2: SEO ALL STARS 

Сложность инструмента: просто 

Расширение для Гугл Chrome SEO ALL STARS – мульти-функциональное и дозволяет узреть контент (текст, заглавия, ссылки, HTML), который не лицезреет поисковый бот. Также ассоциирует метатеги, анализирует ссылки, серверные и javascript редиректы, HTTP headers, скорость загрузки.  

Установить расширение можно в магазине Chrome web store, кликнув сюда. 

Шаг 1: открываем хоть какой веб-сайт 

Опосля того как установили расширение, открываем хоть какой веб-сайт и жмем на расширение. Я тестировал на домене detmir.ru.  

Шаг 2: опции 

Заходим в опции и избираем подходящего для вас бота. Доступны Yandex mobile, Yandex desktop, Гугл mobile, Гугл desktop. Я для теста избрал Гугл desktop. 

Шаг 3: пролистываем до блока Differences 

3.1 В первом блоке можем узреть разницу в количестве слов и количестве HTML-символов меж нашим браузером и тем, как лицезреет веб-сайт Гугл. Разница в 1080 слов и 172487 знаков в HTML. 

3.2 Во 2-м блоке мы можем узреть разницу в контенте от сервера веб-сайта, который отдаем нашему браузеру и Гугл. 

3.3 А вот этот блок считаю самым лучшим! Он указывает, сколько текста и HTML не лицезреет Гугл на веб-сайте. Здесь сходу можно выявить делему рендеринга. 

Еще он указывает, какой текст не лицезреет наш браузер, а лицезреет Гугл. Здесь можно выяснить о «черном» SEO и выявить cloaking. 

3.4 Чтоб поглядеть, какой текст не лицезреет Гугл, нажмите на Missing Text. Для просмотра невидимого HTML, жмем Missing HTML. Можем сходу осознать, какие главные слова Гугл не учитывает, и предпринимаем деяния. 

Шаг 4: остальной функционал 

Незначительно обрисую функционал, который посчитал полезным тоже. Расширение изготовлено на логике сопоставления вашего браузера и того, что лицезреет поисковый бот.  

4.1 Выслеживает, какие URL на странички укрыты от поисковиков. Указывает как внутренние ссылки, так и наружные. 

4.2 Выслеживает, какие заглавия < H > не лицезреет поисковик либо ваш браузер. 

4.3 Выслеживает разницу меж метатегами у вас и у поисковика. Весьма полезно, когда на веб-сайтах меняют метатеги через javascript. Обыденные расширения этого не покажут. 

4.4 Выслеживает сокрытые редиректы. Полезно тогда, когда для вас страничка дает 200 ответ, а поисковому боту 301 и подсовывает ему иную информацию. 

 

Плюсы и минусы SEO ALL STARS  

Плюсы

Минусы

Указывает, какой текст и HTML поисковые боты не лицезреют на страничке.

Лишь на британском языке.

Указывает, как контент различается меж тем, что лицезреет ваш браузер и что лицезреет поисковый бот.

Доступно лишь 2 поисковых бота: Гугл и Yandex. Недозволено вручную указать остальные user-agent.

Показывает, какие ссылки на страничке индексируются поисковыми ботами, а какие нет.

Данные для поисковых роботов не прогрузятся, если у веб-сайта стоит защита Cloudflare либо captcha.

Ассоциирует различие метатегов у вашего браузера и поисковых роботов.

Приобретенный HTML не структурирован, необходимо скопировать его в постороннее приложение для анализа.

Указывает на 100% четкие данные.

Метод 3: Postman 

 

Сложность инструмента: средне 

Postman – инструмент для тестирования и разработки с отправкой HTTP-запросов к серверу и их анализа. Утилита доступна для Windows и MAC, скачать можно на официальном веб-сайте www.postman.com.  

Как SEO-специалисты мы будем употреблять Postman максимум на 10% от его функционала. Другие способности больше необходимы для тестирования API и разработки.  

Создаем запрос в Postman 

1. Открываем Postman и жмем на «плюсик», так мы создаем новейший HTTP-запрос. 

2. В поле избираем GET и вставляем необходимым нам URL, мы будем инспектировать https://pr-cy.ru/. 

3. Перебегаем во вкладку Headers, в поле Key вводим User-Agent, а в поле Value вводим самое значение user-agent, в нашем примере Yandex’а – Mozilla/5.0 (compatible; YandexBot/3.0; + http://yandex.com/bots) и жмем клавишу SEND. 

4. Ниже в области BODY мы увидим приобретенный HTML-код конкретно таковым, каким лицезреет его Yandex в десктопной версии (поэтому что user-agent мы употребляли для десктопных устройств). 

5. А если надавить на CONSOLE, то сможем проанализировать HTTP Headers и цепочки редиректов!  

Плюсы и минусы Postman 

Плюсы

Минусы

Указывает на 100% четкие данные.

Не умеет обходить captcha, защиты от ddos и фаерволы.

Выдает структурированный HTML, с которым комфортно работать.

Просит малые познания в работе GET, POST и остальных видов запросов.

Можно обходить фактически всякую авторизацию веб-сайтов. Можно глядеть веб-сайты на демо-контурах.

Не эмулирует javascript.

Метод 4: Chrome DevTools 

 

Сложность инструмента: тяжело 

Кажется, Chrome DevTools в представлении не нуждается, но все таки дадим короткое определение. Chrome DevTools – это набор инструментов для разрабов, позволяющий отлаживать, тестировать и профилировать код в настоящем времени. 

Вы скажете, а при этом здесь Гугл Chrome DevTools, ведь Chrome грузит javascript. В данном способе мы будем проверять вкладку Network и Network condition, чтоб настроить подходящий нам user-agent и глядеть ответ сервера без постороннего javascript. Погнали! 

Шаг 1: Устанавливаем user-agent 

  • Открываем в браузере подходящую страничку.
  • Жмем на 3 вертикальные точки, избираем More tools и жмем на Network Condition. 

  • Убираем галочку с пт User agent Use browser default. 
  • Вставляем user-agent бота, в нашем случае Yandex’а. 

Шаг 2: Смотрим ответ от сервера для нашего поискового бота 

  • Перебегаем во вкладку Network. 
  • Прокручиваем в самый верх и избираем нашу страничку. 
  • В поле Headers смотрим HTTP Headers, а в поле Response смотрим, какой HTML-код получил бы Yandex. 

 

Плюсы и минусы Chrome DevTools 

Плюсы

Минусы

Решаем задачку в одном пространстве, браузере Гугл Chrome либо схожих.

Времязатратный инструмент в связи с тем, что необходимо переключаться по почти всем вкладкам в панели разраба.

Указывает на 100% четкие данные.

Опосля установки user-agent и перехода в Network непременно необходимо перезагружать страничку, что растрачивает время анализа.

Дозволяет обойти captcha, защиты от ddos и фаерволы.

Просит техническое осознание HTML, HTTP Headers.

Можно глядеть любые веб-сайты под авторизацией, на демо-контурах.

Метод 5: JS Switcher 

Сложность инструмента: просто 

Данный метод не является 100% четким, потому что у проверяемого веб-сайта может стоять посторонний пререндеринг, и при выключении javascript от вас спрячется контент, но по факту поисковый бот его может созидать. 

JS Switcher – это расширение для SEO-специалистов и разрабов, которое верно отключает javascript на любом веб-сайте. Установить расширение можно в магазине Chrome web store, кликнув сюда. 

Как употреблять JS Switcher? 

UX весьма обычный. Просто устанавливаете расширение в браузер и нажимаете на него. Цветной значок означает, что javascript работает. Сероватый значок означает, что javascript выключен. 

Плюсы и минусы JS Switcher 

Плюсы

Минусы

Быстрота отключения javascript на страничке.

Отключение лишь javascript не гарантирует того, что увидит поисковый бот.

Отключает с перезагрузкой и деструкцией всех скриптов.

Не умеет глядеть впрямую очами поисковых роботов, инициирует код со стороны вашего браузера.

Резюмируем: какой инструмент лучше употреблять и когда? 

cURL: удачный для получения сырого HTTP header и HTML, но не эмулирует javascript и просит познания характеристик запросов. Безупречный, чтоб «въехать» в тему. 

SEO ALL STARS: мультифункциональное расширение для Chrome, которое сберегает массу времени. Выводит уже невидимый контент для поисковых роботов. Совершенно, если вы нередко анализируете веб-сайты и не желаете руками ассоциировать HTML и тексты. 

Postman: подойдет для тех, кто желает сам проанализировать приобретенный HTML и сопоставить его со своим. Тратится огромное количество времени, но исследования время от времени дают доп инсайты. 

Chrome DevTools: инструмент для экспертов. В состоянии сделать все что угодно. Необходимо только разобраться. Просит высочайшие познания сайтостроения, работы сервера и способностей javascript. 

JS Switcher: расширение для отключения javascript, стремительно, но точность данных ограничена, быть может сокрытый от роботов контент.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *