Как закрыть веб-сайт от индексации: главные методы
Для действенного процесса SEO-продвижения нужна стремительная и корректная индексация страничек веб-сайта. В данной статье мы разглядим, как ограничивать индексацию определенных страничек либо всего веб-сайта.
Какие странички нужно закрывать от индексации
Принципиально обеспечить, чтоб в поисковых результатах присутствовали лишь мотивированные странички, надлежащие запросам юзеров. Для этого нужно аккуратненько подступать к индексации содержимого, исключая из нее последующие группы:
- Странички административной части веб-сайта, содержащие информацию, не созданную для общественного доступа.
- Странички с личными данными юзеров.
- Дублирующиеся странички.
- Странички с устаревшей информацией.
- Версии для печати, RSS-ленты, медиаконтент и странички поиска.
- Странички с нерелевантным контентом.
- Странички, содержащие информацию, направленную на ограниченную аудиторию, к примеру, корпоративные ресурсы для внутреннего использования работникам компаниии.
- Веб-сайты-аффилиаты.
Главные методы закрыть веб-сайт либо странички от индексации
1. Закрытие от индексации через robots.txt
Главный метод закрыть странички от индексации – внедрение файла robots.txt. В этом файле можно указать ботам при помощи особых директив, какие странички веб-сайта они не должны регистрировать.
Примеры использования robots.txt:
- Закрыть для всех поисковых роботов:
User-agent: *
Disallow: /
- Закрыть индексацию для определенного бота:
User-agent: Yandex
Disallow: /
- Закрыть стопроцентно раздел либо категорию:
User-agent: *
Disallow: /category/
- Закрыть все, не считая обозначенного раздела:
User-agent: *
Disallow: /
Allow: /category
- Для запрета индексации изображений:
Usеr-Аgеnt: *
DіsаІІоw: *.jрg (*.gіf либо *.рng)
Стоит учесть, что запрет индексации через robots.txt не постоянно учитывается Гугл и потому время от времени стоит разглядеть наиболее «хардовые» варианты.
2. Закрытие от индексации при помощи мета-тега noindex
Мета-тег noindex является одним из действенных методов предотвращения индексации страничек поисковыми роботами. Этот тег дозволяет вебмастерам надзирать, какие странички должны быть проиндексированы поисковыми машинами, а какие нет.
Что такое мета-тег noindex?
Мета-тег noindex – это особый HTML-тег, который можно добавить в < head > каждой странички вашего веб-сайта. Этот тег дает указание поисковым ботам не регистрировать содержимое странички. Таковым образом, страничка не будет отображаться в поисковых результатах.
Пример использования мета-тега noindex
Представим, у вас есть страничка на веб-сайте, которую вы желаете исключить из поисковой выдачи. Для этого добавьте на эту страничку мета-тег noindex последующим образом:
< !DOCTYPE html >
< html >
< head >
< meta charset="UTF-8" >
< meta name="robots" content="noindex" >
< title >Моя страничка< /title >
< /head >
< body >
< h1 >Содержимое странички< /h1 >
< p >Текст вашей странички тут…< /p >
< /body >
< /html >
Опосля прибавления данного кода на страничку, она не будет проиндексирована поисковыми роботами.
3. При помощи HTTP-заголовка X-Robots-Tag
HTTP-заголовок X-Robots-Tag – это мощнейший инструмент, который дозволяет вебмастерам надзирать индексацию собственного веб-сайта поисковыми роботами. Дальше мы поведаем, как применять этот заголовок для закрытия от индексации отдельных страничек на веб-сайте.
Что такое HTTP-заголовок X-Robots-Tag?
HTTP-заголовок X-Robots-Tag является частью протокола HTTP и употребляется для передачи инструкций поисковым ботам относительно индексации и сканирования страничек.
Пример использования HTTP-заголовка X-Robots-Tag
Представим, у вас есть страничка на веб-сайте, которую вы желаете исключить из поисковой выдачи. Для этого добавьте последующий код в файл .htaccess:
< IfModule mod_headers.c >
Header set X-Robots-Tag "noindex, nofollow"
< /IfModule >
Главные директивы X-Robots Tag:
1. noindex
noindex показывает поисковым системам не регистрировать данную страничку. Это значит, что страничка не будет показываться в поисковых результатах. Пример использования:
X-Robots-Tag: noindex
2. nofollow
nofollow показывает поисковым ботам не следовать по ссылкам на данной страничке. Это дозволяет надзирать передачу силы ссылок на страничке. Пример использования:
X-Robots-Tag: nofollow
3. noarchive
noarchive воспрещает поисковым системам кэшировать содержимое странички. Это значит, что страничка не будет доступна в кэше поисковых машин. Пример использования:
X-Robots-Tag: noarchive
4. nosnippet
nosnippet показывает поисковым системам не выводить сниппет (короткое описание) странички в поисковых результатах. Пример использования:
X-Robots-Tag: nosnippet
5. noimageindex
Директива noimageindex предутверждает индексацию изображений на страничке поисковыми машинами. Пример использования:
X-Robots-Tag: noimageindex
4. Через htaccess при помощи команды SetEnvIfNoCase User-Agent "^Googlebot (Yandex)" search_bot
Одним из способов закрытия страничек от индексации является внедрение директивы SetEnvIfNoCase User-Agent в файле .htaccess. Давайте разглядим, как это можно создать.
Что такое SetEnvIfNoCase User-Agent?
SetEnvIfNoCase User-Agent — это директива в файле .htaccess, которая дозволяет задавать условия на базе User-Agent (идентификатора поискового бота) и использовать к ним определенные деяния. Это дозволяет надзирать поведение поисковых ботов на веб-сайте, включая индексацию страничек.
Пример использования SetEnvIfNoCase User-Agent
Представим, у вас есть страничка "example-page.html", которую вы желаете исключить из индексации лишь для поискового бота Googlebot. Для этого добавьте последующий код в файл .htaccess:
< IfModule mod_setenvif.c >
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
< Files "example-page.html" >
Order Allow,Deny
Allow from all
Deny from env=search_bot
< /Files >
< /IfModule >
Сейчас страничка "example-page.html" будет укрыта от индексации лишь для Googlebot.
Как закрыть от индексации веб-сайт на WordPress
Раздельно стоит разглядеть, как можно запретить индексацию веб-сайта, изготовленного на WordPress. Кроме принятых вариантов, рассмотренных выше еще есть несколько методов как это создать в данной CMS:
Закрытие веб-сайта во время разработки
Если вы работаете над новеньким веб-сайтом либо проводите обновления на существующем, вы сможете временно закрыть его от индексации, чтоб избежать индексации незавершенных страничек. Для этого можно пользоваться плагинами, таковыми как "Under Construction" либо "Maintenance Mode".
Внедрение плагинов
На WordPress существует огромное количество плагинов, которые упрощают процесс закрытия веб-сайта либо страничек от индексации. К примеру, плагин Yoast SEO дозволяет просто управлять индексацией отдельных страничек.
Внедрение парольной защиты
Для наиболее надежной защиты от индексации вы сможете добавить парольную защиту к веб-сайту либо определенным страничкам. В WordPress это можно создать через функцию "Защита паролем" при публикации странички.
Заключение
Закрытие веб-сайта либо отдельных страничек от индексации является принципиальным шагом для защиты секретной инфы и контроля видимости вашего контента в поисковых системах. Используйте описанные методы с разумом и смотрите за индексацией вашего веб-сайта, чтоб обеспечить его сохранность и эффективность в результатах поиска.