Robots для wordpress

Все новички, решившие создать свой сайт, рано или поздно сталкиваются с вопросом о создании файла robots для wordpress. Надо сказать, что это очень важный и ответственный шаг, так как стоит сделать одно неверное движение, — и вы можете серьезно навредить своему блогу.

Несмотря на массу статей у других web-мастеров по этому вопросу, я решил написать для своих читателей простое и доступное руководство по созданию robots.txt.

Итак, движок WordPress, о котором мы ведем речь, имеет один небольшой (а может и большой) минус. Он плодит массу дублей, которые негативно сказываются на поисковой оптимизации. Собственно во избежание этих и других подобных проблем придуман файл Robots.

Важно понимать, что при помощи robots.txt мы можем указывать поисковым системам (Яндекс, Google и др.) что нужно индексировать для поиска, а что является мусором, который предназначен «для внутреннего пользования».

Например, анонс одной и той же статьи может быть проиндексирован в тегах и архивах, что является дублем (повторением).

Это нехорошая практика, поэтому ликвидируем этот пробел с помощью замечательного инструмента для wordpress – robots.txt. На картинке можно наглядно понять принцип действия Роботса:

К слову сказать, я совсем не понимаю некоторых любителей CMS Вордпресс, которые пишут статью о создании robots, но на своем блоге использую совершенно другой файл. Авторитет статьи, в таком случае, резко снижается, так как написано одно, а используется автором совершенно другое.

Для сравнения можете убедиться в том, что данная статья с инструкциями полностью совпадает с тем, что реально используется мной. Произвести такой анализ просто: нужно лишь ввести в адресную строку браузера teweb.ru/robots.txt.

Кстати говоря, если вы понимаете важность быстродействия в работе сайта, тогда обращайте внимание на качественный хостинг для WordPress.

Теперь скажем пару слов о самих функциях, чтобы вы были, что называется, немного в теме.

Самая первая строка выглядит так:

User-agent: *

Это значит, что правила, которые будут прописаны ниже, предназначены для всех поисковиков без исключения.

Далее можно увидеть такую строку:

User-agent: Yandex

Несложно догадаться, что под этой строчкой будут прописаны запреты конкретно для системы Яндекс.

Само слово Disallow переводится как «Запрет». Следовательно, если в каком-то robots будут правила начинающиеся словом Allow, — это будет значить обратное, то есть требование к обязательной индексации.

В самом конце Роботса можно увидеть такие строки:

Host: teweb.ru

Sitemap: http:// teweb.ru/sitemap.xml

Первое правило указывает на главное зеркало нашего блога, а второе вежливо подсказывается поисковикам, где находится наша xml карта, которая очень помогает правильной и быстрой индексации страничек.

Еще раз обращаю ваше внимание на то, что при составлении robots для wordpress сайта, нельзя допускать вольностей. Например, если вы строку Host захотите прописать вот так:

Host: https://teweb.ru/

— это будет неправильно.

Теперь обратите внимание на то, как должен называться наш файл. Это обычный текстовый документ с расшеринием «txt» и названием с маленькой буквы — «robots».

Можете просто скопировать код ниже, или скачать его прямо с моего сайта при помощи ссылки, которую я указал в статье ранее.

Правильный robots.txt для WordPress

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/uploads
Disallow: /wp-admin/
Disallow: /wp-includes/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: teweb.ru
Sitemap: https://teweb.ru/sitemap.xml

Ну а теперь осталось только проверить работоспособность и «адекватность» нашего нововведения. Для этого зайдем в Яндекс Вебмастер по адресу:

Теперь добавим robots.txt и проверим его:

Именно этот файл, друзья, я на протяжении нескольких лет успешно использую на всех подконтрольных мне wordpress сайтах.

Надеюсь, теперь вы можете составить правильный robots.txt и превратить свой блог в сверхмощный и суперпосещаемый проект!