Энциклопедия

поискового продвижения

Как правильно заполнить файл Robots.txt

Как правильно заполнить файл Robots.txt

23:44 07/06/2014

Robots.txt – это текстовый файл, предназначенный для роботов поисковых систем, в котором указаны параметры индексирования страниц сайта. Данный файл обычно находиться в корневом каталоге сайта.

7951

Зачем нужен файл robots.txt?

Перед тем как зайти на сайт, робот поисковой системы обращается к файлу http://www.sitename.ru/robots.txt, из которого узнаёт какие страницы сайта можно индексировать, а какие нельзя. Если файла robots.txt у сайта нет,  то робот будет считать все страницы сайта доступными к индексированию.

Схема работы Robots.txt

В данном файле вы можете указать инструкции индексирования как для всех роботов сразу, так и для каждой поисковой системы (Яндекс, Google, Rambler и др.) по отдельности.

 

При заполнении файла следует помнить о двух важных вещах:

  1. роботы могут игнорировать файл /robots.txt, особенно это касается вредоносных роботов, сканирующих сайты на уязвимость в системе безопасности;
  2. файл /robots.txt является публичным и любой желающий сможет посмотреть какие именно разделы и страницы сайта вы захотели скрыть.

Поэтому не пытайтесь использовать файл robots.txt для того, чтобы скрыть информацию.

Настройка robots.txt 

Для создания файла вы можете воспользоваться любым текстовым редактором. Обычно файл содержит запись, подобную этой: 

User-agent: *
Disallow: /tmp/
Disallow: */core/*

Host: sitename.ru
Sitemap: http://pgdv.ru/sitemap.xml

В данном примере «User-agent: *» означает, что информация представлена для всех роботов сразу. Если вы хотите создать инструкцию только для робота Яндекс, используйте запись «User-agent: Yandex», для робота Google: «User-agent: Googlebot» и др.

Директива «Disallow: /tmp/» означает, что папка /tmp в корне сайта закрыта для индексации роботами.  Строка «Disallow: */author/*» означает, что робот не должен индексировать страницы сайта, в любой части URL которого присутствует /author/.

Директива «Host: sitename.ru» показывает поисковому роботу главное зеркало сайта. Тут вы задаете, как хотите видеть сайт в поисковой выдачи с www перед названием сайта или без www.

Директива «Sitemap: http://sitename.ru/sitemap.xml» - показываем место расположения карты сайта в формате XML, этот файл необходим для правильной и быстрой индексации вашего сайта 

Запрет индексации страниц и сайтов в файле Robots.txt

Для запрета к индексации рекомендуются следующие файлы и разделы:

  • служебные страницы и директории (страница административной панели и другие вспомогательные страницы)
  • страницы, содержащие дубли контента (RSS лента, рубрики, архивы, метки и др.)
  • страницы, содержащие результаты поиска

В идеале для индексации поисковыми системами стоит оставить только страницы, содержащие полезную информацию для пользователей, на которые они будут переходить из результатов поиска.

Что бы запретить к индексации весь сайт необходимо прописать следующее: 

Disallow: /

Это необходимо делать, когда вы разрабатываете новый сайт на поддомене или же преднамерено не хотите, что бы информация на сайте не попадала в поисковые системы.

Robots.txt. для популярных CMS

Примеры заполнения файла robots.txt для популярных систем управления, можете скачать по ссылкам:

Куда загружать Robots.txt?

Файл robots.txt должен быть загружен в корень сайта (верхняя папка на хостинге, где расположены другие папки вашей CMS и технические файлы), т.е. распологаться по адресу sitename.ru/robots.txt

Полезные ссылки

http://webmaster.yandex.ru/robots.xml - Проверка корректности заполнения файла для Яндекс;

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - Подробное описание от Яндекс;

http://robotstxt.org.ru/ - полный справочник по заполнению файла /robots.txt.

7951

Наш блог

  • SEO ПРОДВИЖЕНИЕ - что это такое?

    SEO ПРОДВИЖЕНИЕ - что это такое?

    18:19 23/06/2017

    Хотите узнать, что такое СЕО продвижение? Прочитав эту статью, вы за 15 минут разберетесь в азах поисковой оптимизации и поймете, зачем необходимо развивать свой сайт!

  • Продвижение интернет-магазина цветов

    Продвижение интернет-магазина цветов

    18:34 25/04/2017

    Как продвигать интернет магазин или лендинг по доставке цветов? Кейс нашего клиента из Челябинска с результатами и подробным описанием.

  • Сколько стоит продвижение сайта?

    Сколько стоит продвижение сайта?

    14:17 16/03/2017

    Стоимость продвижения и оптимизации сайта - самый важный вопрос клиентов. В этой статье мы постараемся рассказать из чего складывается цена на SEO.

  • Создание сайта для cтоматологии

    Создание сайта для cтоматологии

    21:42 11/03/2017

    Стоматология - один из самых популярных бизнесов, но чтобы сделать его прибыльным необходимо заняться привлечением клиентов и создание сайта - это первый шаг!