Покажите вашему сеошнику. Что не так со Screaming Frog SEO Spider

Меня зовут Павел Кондрашов, я ведущий менеджер по SEO в i-Media. Мы помогаем компаниям отыскивать клиентов из поиска и делаем так, чтоб веб-сайт приносил реализации. В статье расскажу, как я выявил неспособность Screaming Frog эмулировать роботов Yandex’а. Материал будет полезен как новеньким, так и опытным спецам.

Очень много пустых тегов

В процессе парсинга веб-сайта клиента я нашел особенно огромное количество пустых тегов title на страничках, которые должны быть закрыты от индексации. Стал мыслить, с чем это быть может соединено. Подозрение пало на robots.txt.

Из скрина видно, что пустых тегов чуток меньше 50%, что кратно выше нормы

При помощи Веб-мастера и служебного файла поглядел, учитывает ли программка нужную директиву. Догадка не подтвердилась, файл был корректен, но неувязка не пропала.

Потом я представил, что при парсинге у меня было включено игнорирование файла во фроге. Но тут тоже все было в порядке.

Из скрина видно, что программка учитывает robots при парсинге, а означает неувязка не в избранной настройке

Потом мне пришла мысль – сопоставить в котором из user-agent в robots.txt веб-сайта размещена закрывающая директива и какого user-agent эмулирует Frog. Оказалось, что в robots.txt, директива стоит лишь для user-agent Yandex bot, а в Screaming Frog Гугл bot. Чтоб проверить догадку, поменял Гугл bot на Yandex bot, запустил парсинг, но странички остались.

Все оказалось куда увлекательнее

На этом идеи закончились. Я обращался к сотрудникам, но никто ранее не встречался с таковой неувязкой и рекомендовали создать то, что уже проверил и не сработало. Тогда я решил сопоставить перечень роботов, обозначенных в Yandex Справке со перечнем в Screaming Frog. Они были схожие. Потом сравнил версии, потому что пошевелил мозгами, что во фроге была не крайняя. Но нет.

Опосля некого времени размышлений возникла догадка о неспособности Screaming Frog эмулировать роботов Yandex’а. Это бы означало, что самый пользующийся популярностью и узнаваемый инструмент SEO-специалиста не таковой уж всепригодный.

User-agent в Yandex Справке стопроцентно совпадал с обозначенным в Screaming Frog

Чтоб убедиться в догадке, я добавил кастомный файл robots.txt в Screaming Frog. Он содержал директиву, закрывающую страничку от индексации для всех user-agent. Все заработало, странички не стали попадать в Screaming Frog.

И, наконец, странички пропали

Бот Yandex’а 1:0 Screaming Frog

Этот вариант выявил неспособность Screaming Frog эмулировать роботов Yandex’а, а означает, аналитики и оптимизаторы должны быть внимательны к вероятным ограничениям инструментов и инспектировать приобретенные данные в Yandex Мастере. Лишь так можно обеспечить точность результатов и гарантировать действенные шаги по улучшению характеристик веб-ресурсов.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *