Robots для wordpress


Все новички, решившие создать свой сайт, рано или поздно сталкиваются с вопросом о создании файла robots для wordpress. Надо сказать, что это очень важный и ответственный шаг, так как стоит сделать одно неверное движение, - и вы можете серьезно навредить своему блогу. Несмотря на массу статей у других web-мастеров по этому вопросу, я решил написать для своих читателей простое и доступное руководство по созданию robots.txt.

Итак, движок WordPress, о котором мы ведем речь, имеет один небольшой (а может и большой) минус. Он плодит массу дублей, которые негативно сказываются на поисковой оптимизации. Собственно во избежание этих и других подобных проблем придуман файл Robots.

Важно понимать, что при помощи robots.txt мы можем указывать поисковым системам (Яндекс, Google и др.) что нужно индексировать для поиска, а что является мусором, который предназначен «для внутреннего пользования».

Например, анонс одной и той же статьи может быть проиндексирован в тегах и архивах, что является дублем (повторением). Это нехорошая практика, поэтому ликвидируем этот пробел с помощью замечательного инструмента для wordpress – robots.txt. На картинке можно наглядно понять принцип действия Роботса:

Robots для wordpress (1)

К слову сказать, я совсем не понимаю некоторых любителей CMS Вордпресс, которые пишут статью о создании robots, но на своем блоге использую совершенно другой файл. Авторитет статьи, в таком случае, резко снижается, так как написано одно, а используется автором совершенно другое.

Для сравнения можете убедиться в том, что данная статья с инструкциями полностью совпадает с тем, что реально используется мной. Произвести такой анализ просто: нужно лишь ввести в адресную строку браузера teweb.ru/robots.txt.

Теперь скажем пару слов о самих функциях, чтобы вы были, что называется, немного в теме.

Самая первая строка выглядит так:

User-agent: *

Это значит, что правила, которые будут прописаны ниже, предназначены для всех поисковиков без исключения.

Далее можно увидеть такую строку:

User-agent: Yandex

Несложно догадаться, что под этой строчкой будут прописаны запреты конкретно для системы Яндекс.

Само слово Disallow переводится как «Запрет». Следовательно, если в каком-то robots будут правила начинающиеся словом Allow, - это будет значить обратное, то есть требование к обязательной индексации.

В самом конце Роботса можно увидеть такие строки:

Host: teweb.ru

Sitemap: http:// teweb.ru/sitemap.xml

Первое правило указывает на главное зеркало нашего блога, а второе вежливо подсказывается поисковикам, где находится наша xml карта, которая очень помогает правильной и быстрой индексации страничек.

Еще раз обращаю ваше внимание на то, что при составлении robots для wordpress сайта, нельзя допускать вольностей. Например, если вы строку Host захотите прописать вот так:

Host: http://teweb.ru/

- это будет неправильно.

Теперь обратите внимание на то, как должен называться наш файл. Это обычный текстовый документ с расшеринием «txt» и названием с маленькой буквы - «robots».

Можете просто скопировать код ниже, или скачать его прямо с моего сайта при помощи ссылки, которую я указал в статье ранее.

Правильный robots.txt для WordPress

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/uploads
Disallow: /wp-admin/
Disallow: /wp-includes/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: teweb.ru
Sitemap: http://teweb.ru/sitemap.xml

Ну а теперь осталось только проверить работоспособность и «адекватность» нашего нововведения. Для этого зайдем в Яндекс Вебмастер по адресу:

Robots для wordpress (2)

Теперь добавим robots.txt и проверим его:

Robots для wordpress (3)

Именно этот файл, друзья, я на протяжении нескольких лет успешно использую на всех подконтрольных мне wordpress сайтах.

Надеюсь, теперь вы можете составить правильный robots.txt и превратить свой блог в сверхмощный и суперпосещаемый проект!

teweb.ru-v-socialnyh-setjah
Понравился пост? Нажми любую кнопку:

Комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *