Правильная настройка файла robots.txt для Joomla
Настройка правильного файла Robots.txt - это последний шаг в начальном этапе развития нашего проекта, но он не менее важен. Ведь при неправильной настройке этого файла Вы получите огромное количество дублей страниц Вашего сайта. А благодаря грамотной настройке, Вы сможете разрешить или запретить к индексации определённые разделы или страницы Вашего сайта. Так же можно выделить, как именно должен называться Ваш сайт (www.sayt.ru или просто sayt.ru). В этот файл можно добавить ссылку на карту сайта для улучшения индексирования и многое другое.
Стандартный файл robots.txt для Joomla
Файл Robots.txt находится в корневом каталоге Вашего сайта. Вы можете скачать его для редактирования через FTP клиент. А если Вы хотите его просто просмотреть, то наберите в адресной строке интернет браузера http://joofaq.ru/robots.txt (вместо Joofaq.ru вставьте название своего сайта). Вот как должен выглядеть этот файл при первой установке сайта на Joomla:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Обо всех параметрах этого документа Вы можете ознакомиться на самом Яндексе, перейдя по ссылке help.yandex.ru/webmaster/?id=996567. Там всё расписано очень подробно и ясно. Я же расскажу о том, как лучше всего настроить robots.txt именно для сайта на Joomla.
Принципы работы Robots.txt
В этом файле нужно прописывать определённые директивы. Первая и самая главная - это User-agent. Эта директива обращается к определённому поисковому роботу (у каждого поисковика есть свои роботы со своими именами). Вот имена наиболее часто встречающихся поисковиков:
Google http://www.google.com Googlebot
Yahoo! http://www.yahoo.com Slurp (или Yahoo! Slurp)
AOL http://www.aol.com Slurp
MSN http://www.msn.com MSNBot
Live http://www.live.com MSNBot
AltaVista http://www.altavista.com Scooter
Alexa http://www.alexa.com ia_archiver
Яндексhttp://www.ya.ru Yandex
Рамблер http://www.rambler.ru StackRambler
Мэйл.ру http://mail.ru Mail.Ru
Aport http://www.aport.ru Aport
Если Вы хотите обратиться сразу ко всем роботам, то после директивы User-agent: нужно поставить * и получится User-agent: *. Для того, чтобы разрешить поисковикам индексировать сайт полностью, нужно набрать:
User-agent: *
Disallow:
Для полного запрета индексации сайта введите:
User-agent: *
Disallow: /
Если посмотреть на стандартный файл Robots.txt, то Вы увидите, что у нас запрещены к индексации административные участки сайта: это наши компоненты, модули, кэш, языковые файлы и прочий мусор, который будет только мешать нам в продвижении по поисковым системам. Хотя значение Disallow: /images/ можно удалить, если Вы будете использовать на сайте уникальные картинки (собственные скриншоты или фотографии), тогда Вы сможете ещё участвовать в поиске по картинкам - это может дать дополнительный приток посетителей.
Вот файл робота моего сайта:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://joofaq.ru/index.php?option=com_xmap&view=xml&id=1
Host: joofaq.ru
Можно увидеть, что я использовал всего пару директив для своего сайта, это директива Host: и Sitemap:. Давайте рассмотрим их подробнее:
- Host - эта директива понадобится нам для правильно определения главного зеркала Вашего сайта, исключив все дополнительные зеркала. Указывать сайт нужно БЕЗ http://. Только sayt.ru или www.sayt.ru. директиву Host необходимо добавлять только после директив "Disallow".
- Sitemap - помогите поисковым роботам найти карту Вашего сайта. Мы использовали для создания карты компонент Xmap. Зайдите в админ-панель и в настройках этого компонента найдите карту в формате xml.
Скопируйте эту ссылку (вместе с http://) и добавьте в файл Robots.txt, чтобы получилось как у меня:
Sitemap: http://joofaq.ru/index.php?option=com_xmap&view=xml&id=1
Вот в принципе и все основные настройки этого файла. Более подробно можно прочитать по указанной вверху странице на Яндексе.
Следующие статьи:
Предыдущие статьи:
- Настройка ЧПУ и установка компонента ARTIO JoomSEF - 22/03/2011
- Создание карты сайта в Joomla. Установка и настройка компонента Xmap - 21/03/2011
- Оптимизация текстов статей, HTML теги - 20/03/2011
- Внутренняя перелинковка страниц сайта - 19/03/2011
- Что такое семантическое ядро и как правильно его составить? - 18/03/2011