Энциклопедия

поискового продвижения

Как правильно заполнить файл Robots.txt

Как правильно заполнить файл Robots.txt

23:44 07/06/2014

Robots.txt – это текстовый файл, предназначенный для роботов поисковых систем, в котором указаны параметры индексирования страниц сайта. Данный файл обычно находиться в корневом каталоге сайта.

11639

Зачем нужен файл robots.txt?

Перед тем как зайти на сайт, робот поисковой системы обращается к файлу http://www.sitename.ru/robots.txt, из которого узнаёт какие страницы сайта можно индексировать, а какие нельзя. Если файла robots.txt у сайта нет,  то робот будет считать все страницы сайта доступными к индексированию.

Схема работы Robots.txt

В данном файле вы можете указать инструкции индексирования как для всех роботов сразу, так и для каждой поисковой системы (Яндекс, Google, Rambler и др.) по отдельности.

 

При заполнении файла следует помнить о двух важных вещах:

  1. роботы могут игнорировать файл /robots.txt, особенно это касается вредоносных роботов, сканирующих сайты на уязвимость в системе безопасности;
  2. файл /robots.txt является публичным и любой желающий сможет посмотреть какие именно разделы и страницы сайта вы захотели скрыть.

Поэтому не пытайтесь использовать файл robots.txt для того, чтобы скрыть информацию.

Настройка robots.txt 

Для создания файла вы можете воспользоваться любым текстовым редактором. Обычно файл содержит запись, подобную этой: 

User-agent: *
Disallow: /tmp/
Disallow: */core/*

Host: sitename.ru
Sitemap: http://pgdv.ru/sitemap.xml

В данном примере «User-agent: *» означает, что информация представлена для всех роботов сразу. Если вы хотите создать инструкцию только для робота Яндекс, используйте запись «User-agent: Yandex», для робота Google: «User-agent: Googlebot» и др.

Директива «Disallow: /tmp/» означает, что папка /tmp в корне сайта закрыта для индексации роботами.  Строка «Disallow: */author/*» означает, что робот не должен индексировать страницы сайта, в любой части URL которого присутствует /author/.

Директива «Host: sitename.ru» показывает поисковому роботу главное зеркало сайта. Тут вы задаете, как хотите видеть сайт в поисковой выдачи с www перед названием сайта или без www.

Директива «Sitemap: http://sitename.ru/sitemap.xml» - показываем место расположения карты сайта в формате XML, этот файл необходим для правильной и быстрой индексации вашего сайта 

Запрет индексации страниц и сайтов в файле Robots.txt

Для запрета к индексации рекомендуются следующие файлы и разделы:

  • служебные страницы и директории (страница административной панели и другие вспомогательные страницы)
  • страницы, содержащие дубли контента (RSS лента, рубрики, архивы, метки и др.)
  • страницы, содержащие результаты поиска

В идеале для индексации поисковыми системами стоит оставить только страницы, содержащие полезную информацию для пользователей, на которые они будут переходить из результатов поиска.

Что бы запретить к индексации весь сайт необходимо прописать следующее: 

Disallow: /

Это необходимо делать, когда вы разрабатываете новый сайт на поддомене или же преднамерено не хотите, что бы информация на сайте не попадала в поисковые системы.

Robots.txt. для популярных CMS

Примеры заполнения файла robots.txt для популярных систем управления, можете скачать по ссылкам:

Куда загружать Robots.txt?

Файл robots.txt должен быть загружен в корень сайта (верхняя папка на хостинге, где расположены другие папки вашей CMS и технические файлы), т.е. распологаться по адресу sitename.ru/robots.txt

Полезные ссылки

http://webmaster.yandex.ru/robots.xml - Проверка корректности заполнения файла для Яндекс;

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - Подробное описание от Яндекс;

http://robotstxt.org.ru/ - полный справочник по заполнению файла /robots.txt.

11639

Наш блог