Правильная настройка файла robots.txt для Joomla

Настройка правильного файла Robots.txt - это последний шаг в начальном этапе развития нашего проекта, но он не менее важен. Ведь при неправильной настройке этого файла Вы получите огромное количество дублей страниц Вашего сайта. А благодаря грамотной настройке, Вы сможете разрешить или запретить к индексации определённые разделы или страницы Вашего сайта. Так же можно выделить, как именно должен называться Ваш сайт (www.sayt.ru или просто sayt.ru). В этот файл можно добавить ссылку на карту сайта для улучшения индексирования и многое другое.

Стандартный файл robots.txt для Joomla

Файл Robots.txt находится в корневом каталоге Вашего сайта. Вы можете скачать его для редактирования через FTP клиент. А если Вы хотите его просто просмотреть, то наберите в адресной строке интернет браузера http://joofaq.ru/robots.txt (вместо Joofaq.ru вставьте название своего сайта). Вот как должен выглядеть этот файл при первой установке сайта на Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Обо всех параметрах этого документа Вы можете ознакомиться на самом Яндексе, перейдя по ссылке help.yandex.ru/webmaster/?id=996567. Там всё расписано очень подробно и ясно. Я же расскажу о том, как лучше всего настроить robots.txt именно для сайта на Joomla.

Принципы работы Robots.txt

В этом файле нужно прописывать определённые директивы. Первая и самая главная - это User-agent. Эта директива обращается к определённому поисковому роботу (у каждого поисковика есть свои роботы со своими именами). Вот имена наиболее часто встречающихся поисковиков:

Google http://www.google.com Googlebot

Yahoo! http://www.yahoo.com Slurp (или Yahoo! Slurp)

AOL http://www.aol.com Slurp

MSN http://www.msn.com MSNBot

Live http://www.live.com MSNBot

AltaVista http://www.altavista.com Scooter

Alexa http://www.alexa.com ia_archiver

Яндексhttp://www.ya.ru Yandex

Рамблер http://www.rambler.ru StackRambler

Мэйл.ру http://mail.ru Mail.Ru

Aport http://www.aport.ru Aport

Если Вы хотите обратиться сразу ко всем роботам, то после директивы User-agent: нужно поставить * и получится User-agent: *. Для того, чтобы разрешить поисковикам индексировать сайт полностью, нужно набрать:

User-agent: *
Disallow:

Для полного запрета индексации сайта введите:

User-agent: *
Disallow: /

Если посмотреть на стандартный файл Robots.txt, то Вы увидите, что у нас запрещены к индексации административные участки сайта: это наши компоненты, модули, кэш, языковые файлы и прочий мусор, который будет только мешать нам в продвижении по поисковым системам. Хотя значение Disallow: /images/ можно удалить, если Вы будете использовать на сайте уникальные картинки (собственные скриншоты или фотографии), тогда Вы сможете ещё участвовать в поиске по картинкам - это может дать дополнительный приток посетителей.

Вот файл робота моего сайта:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://joofaq.ru/index.php?option=com_xmap&view=xml&id=1
Host: joofaq.ru

Можно увидеть, что я использовал всего пару директив для своего сайта, это директива Host: и Sitemap:. Давайте рассмотрим их подробнее:

1. Host - эта директива понадобится нам для правильно определения главного зеркала Вашего сайта, исключив все дополнительные зеркала. Указывать сайт нужно БЕЗ http://. Только sayt.ru или www.sayt.ru. директиву Host необходимо добавлять только после директив "Disallow".
2. Sitemap - помогите поисковым роботам найти карту Вашего сайта. Мы использовали для создания карты компонент Xmap. Зайдите в админ-панель и в настройках этого компонента найдите карту в формате xml.

Скопируйте эту ссылку (вместе с http://) и добавьте в файл Robots.txt, чтобы получилось как у меня:

Sitemap: http://joofaq.ru/index.php?option=com_xmap&view=xml&id=1

Вот в принципе и все основные настройки этого файла. Более подробно можно прочитать по указанной вверху странице на Яндексе.