Как правильно заполнить файл Robots.txt

Как правильно заполнить файл Robots.txt

23:44 07/06/2014

Robots.txt – это текстовый файл, предназначенный для роботов поисковых систем, в котором указаны параметры индексирования страниц сайта. Данный файл обычно находиться в корневом каталоге сайта.

15792

Зачем нужен файл robots.txt?

Перед тем как зайти на сайт, робот поисковой системы обращается к файлу http://www.sitename.ru/robots.txt, из которого узнаёт какие страницы сайта можно индексировать, а какие нельзя. Если файла robots.txt у сайта нет,  то робот будет считать все страницы сайта доступными к индексированию.

Схема работы Robots.txt

В данном файле вы можете указать инструкции индексирования как для всех роботов сразу, так и для каждой поисковой системы (Яндекс, Google, Rambler и др.) по отдельности.

 

При заполнении файла следует помнить о двух важных вещах:

  1. роботы могут игнорировать файл /robots.txt, особенно это касается вредоносных роботов, сканирующих сайты на уязвимость в системе безопасности;
  2. файл /robots.txt является публичным и любой желающий сможет посмотреть какие именно разделы и страницы сайта вы захотели скрыть.

Поэтому не пытайтесь использовать файл robots.txt для того, чтобы скрыть информацию.

Настройка robots.txt 

Для создания файла вы можете воспользоваться любым текстовым редактором. Обычно файл содержит запись, подобную этой: 

User-agent: *
Disallow: /tmp/
Disallow: */core/*

Host: sitename.ru
Sitemap: http://pgdv.ru/sitemap.xml

В данном примере «User-agent: *» означает, что информация представлена для всех роботов сразу. Если вы хотите создать инструкцию только для робота Яндекс, используйте запись «User-agent: Yandex», для робота Google: «User-agent: Googlebot» и др.

Директива «Disallow: /tmp/» означает, что папка /tmp в корне сайта закрыта для индексации роботами.  Строка «Disallow: */author/*» означает, что робот не должен индексировать страницы сайта, в любой части URL которого присутствует /author/.

Директива «Host: sitename.ru» показывает поисковому роботу главное зеркало сайта. Тут вы задаете, как хотите видеть сайт в поисковой выдачи с www перед названием сайта или без www.

Директива «Sitemap: http://sitename.ru/sitemap.xml» - показываем место расположения карты сайта в формате XML, этот файл необходим для правильной и быстрой индексации вашего сайта 

Запрет индексации страниц и сайтов в файле Robots.txt

Для запрета к индексации рекомендуются следующие файлы и разделы:

  • служебные страницы и директории (страница административной панели и другие вспомогательные страницы)
  • страницы, содержащие дубли контента (RSS лента, рубрики, архивы, метки и др.)
  • страницы, содержащие результаты поиска

В идеале для индексации поисковыми системами стоит оставить только страницы, содержащие полезную информацию для пользователей, на которые они будут переходить из результатов поиска.

Что бы запретить к индексации весь сайт необходимо прописать следующее: 

Disallow: /

Это необходимо делать, когда вы разрабатываете новый сайт на поддомене или же преднамерено не хотите, что бы информация на сайте не попадала в поисковые системы.

Robots.txt. для популярных CMS

Примеры заполнения файла robots.txt для популярных систем управления, можете скачать по ссылкам:

Куда загружать Robots.txt?

Файл robots.txt должен быть загружен в корень сайта (верхняя папка на хостинге, где расположены другие папки вашей CMS и технические файлы), т.е. распологаться по адресу sitename.ru/robots.txt

Полезные ссылки

http://webmaster.yandex.ru/robots.xml - Проверка корректности заполнения файла для Яндекс;

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - Подробное описание от Яндекс;

http://robotstxt.org.ru/ - полный справочник по заполнению файла /robots.txt.

15792

предыдущие записи

  • Как узнать посещаемость чужого сайта

    Как узнать посещаемость чужого сайта

    23:23 23/05/2014

    Перед началом продвижения сайта, многие клиенты хотят проанализировать посещаемость сайтов конкурентов, чтобы понимать какой результат получает конкурент находящийся в ТОПе по наиболее важным поисковым запросам.

  • Поисковое продвижение мобильного приложения

    Поисковое продвижение мобильного приложения

    23:12 23/05/2014

    На рынке мобильной рекламы представлено множество инструментов для продвижения вашего приложения. И если ваше приложение предназначено для широкого круга пользователей, то найти подходящий инструмент не составит труда.

  • Выбор ниши для интернет магазина

    Выбор ниши для интернет магазина

    23:10 23/05/2014

    Самый простой и популярный вид бизнеса - это открытие интернет магазина. Поэтому множество предпринимателей начинают свой путь именно с этого.

  • Аудит сайта тренинговой компании ПроРеальность

    Аудит сайта тренинговой компании ПроРеальность

    22:17 23/05/2014

    Prorealnost.com - сайт тренинговой компании Николая Воробьева. Сайт имеет качественный дизайн и постоянно обновляемый авторский контент.