Энциклопедия

поискового продвижения

Как правильно заполнить файл Robots.txt

Как правильно заполнить файл Robots.txt

23:44 07/06/2014

Robots.txt – это текстовый файл, предназначенный для роботов поисковых систем, в котором указаны параметры индексирования страниц сайта. Данный файл обычно находиться в корневом каталоге сайта.

15054

Зачем нужен файл robots.txt?

Перед тем как зайти на сайт, робот поисковой системы обращается к файлу http://www.sitename.ru/robots.txt, из которого узнаёт какие страницы сайта можно индексировать, а какие нельзя. Если файла robots.txt у сайта нет,  то робот будет считать все страницы сайта доступными к индексированию.

Схема работы Robots.txt

В данном файле вы можете указать инструкции индексирования как для всех роботов сразу, так и для каждой поисковой системы (Яндекс, Google, Rambler и др.) по отдельности.

 

При заполнении файла следует помнить о двух важных вещах:

  1. роботы могут игнорировать файл /robots.txt, особенно это касается вредоносных роботов, сканирующих сайты на уязвимость в системе безопасности;
  2. файл /robots.txt является публичным и любой желающий сможет посмотреть какие именно разделы и страницы сайта вы захотели скрыть.

Поэтому не пытайтесь использовать файл robots.txt для того, чтобы скрыть информацию.

Настройка robots.txt 

Для создания файла вы можете воспользоваться любым текстовым редактором. Обычно файл содержит запись, подобную этой: 

User-agent: *
Disallow: /tmp/
Disallow: */core/*

Host: sitename.ru
Sitemap: http://pgdv.ru/sitemap.xml

В данном примере «User-agent: *» означает, что информация представлена для всех роботов сразу. Если вы хотите создать инструкцию только для робота Яндекс, используйте запись «User-agent: Yandex», для робота Google: «User-agent: Googlebot» и др.

Директива «Disallow: /tmp/» означает, что папка /tmp в корне сайта закрыта для индексации роботами.  Строка «Disallow: */author/*» означает, что робот не должен индексировать страницы сайта, в любой части URL которого присутствует /author/.

Директива «Host: sitename.ru» показывает поисковому роботу главное зеркало сайта. Тут вы задаете, как хотите видеть сайт в поисковой выдачи с www перед названием сайта или без www.

Директива «Sitemap: http://sitename.ru/sitemap.xml» - показываем место расположения карты сайта в формате XML, этот файл необходим для правильной и быстрой индексации вашего сайта 

Запрет индексации страниц и сайтов в файле Robots.txt

Для запрета к индексации рекомендуются следующие файлы и разделы:

  • служебные страницы и директории (страница административной панели и другие вспомогательные страницы)
  • страницы, содержащие дубли контента (RSS лента, рубрики, архивы, метки и др.)
  • страницы, содержащие результаты поиска

В идеале для индексации поисковыми системами стоит оставить только страницы, содержащие полезную информацию для пользователей, на которые они будут переходить из результатов поиска.

Что бы запретить к индексации весь сайт необходимо прописать следующее: 

Disallow: /

Это необходимо делать, когда вы разрабатываете новый сайт на поддомене или же преднамерено не хотите, что бы информация на сайте не попадала в поисковые системы.

Robots.txt. для популярных CMS

Примеры заполнения файла robots.txt для популярных систем управления, можете скачать по ссылкам:

Куда загружать Robots.txt?

Файл robots.txt должен быть загружен в корень сайта (верхняя папка на хостинге, где расположены другие папки вашей CMS и технические файлы), т.е. распологаться по адресу sitename.ru/robots.txt

Полезные ссылки

http://webmaster.yandex.ru/robots.xml - Проверка корректности заполнения файла для Яндекс;

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - Подробное описание от Яндекс;

http://robotstxt.org.ru/ - полный справочник по заполнению файла /robots.txt.

15054

Наш блог

  • Накрутка лайков и подписчиков ВКОНТАКТЕ

    Накрутка лайков и подписчиков ВКОНТАКТЕ

    18:36 05/03/2020

    ВКонтакте – это отличная площадка для бизнеса или ведения личного блога. Для привлечения активной аудитории владельцы сообществ иногда накручивают собственные показатели.

  • Накрутка подписчиков и лайков в Инстаграме: ТОП-10 сервисов

    Накрутка подписчиков и лайков в Инстаграме: ТОП-10 сервисов

    14:48 05/03/2020

    Инстаграм используют как обычные люди, так и предприниматели. Оба типа пользователей хотят популярности. И в этом помогут сервисы по накрутке подписчиков в Инстаграм.

  • Лучшие конструкторы Landing Page 2020 г.

    Лучшие конструкторы Landing Page 2020 г.

    18:08 26/02/2020

    Конструктор лэндингов представляет собой онлайн-сервис для создания различных сайтов без знаний программирования и особых навыков. Я подготовил обзор 12 сервисов и выбрал лучший из них!

  • Хостинг для сайта - ТОП-10 лучших!

    Хостинг для сайта - ТОП-10 лучших!

    18:20 25/02/2020

    Мы подготовили анализ различных хостинг провайдеров, у которых вы можете купить хостинг, сервер или домен.