Robots для wordpress
Все новички, решившие создать свой сайт, рано или поздно сталкиваются с вопросом о создании файла robots для wordpress. Надо сказать, что это очень важный и ответственный шаг, так как стоит сделать одно неверное движение, — и вы можете серьезно навредить своему блогу.
Несмотря на массу статей у других web-мастеров по этому вопросу, я решил написать для своих читателей простое и доступное руководство по созданию robots.txt.
Итак, движок WordPress, о котором мы ведем речь, имеет один небольшой (а может и большой) минус. Он плодит массу дублей, которые негативно сказываются на поисковой оптимизации. Собственно во избежание этих и других подобных проблем придуман файл Robots.
Важно понимать, что при помощи robots.txt мы можем указывать поисковым системам (Яндекс, Google и др.) что нужно индексировать для поиска, а что является мусором, который предназначен «для внутреннего пользования».
Например, анонс одной и той же статьи может быть проиндексирован в тегах и архивах, что является дублем (повторением).
Это нехорошая практика, поэтому ликвидируем этот пробел с помощью замечательного инструмента для wordpress – robots.txt. На картинке можно наглядно понять принцип действия Роботса:
К слову сказать, я совсем не понимаю некоторых любителей CMS Вордпресс, которые пишут статью о создании robots, но на своем блоге использую совершенно другой файл. Авторитет статьи, в таком случае, резко снижается, так как написано одно, а используется автором совершенно другое.
Для сравнения можете убедиться в том, что данная статья с инструкциями полностью совпадает с тем, что реально используется мной. Произвести такой анализ просто: нужно лишь ввести в адресную строку браузера teweb.ru/robots.txt.
Кстати говоря, если вы понимаете важность быстродействия в работе сайта, тогда обращайте внимание на качественный хостинг для WordPress.
Теперь скажем пару слов о самих функциях, чтобы вы были, что называется, немного в теме.
Самая первая строка выглядит так:
User-agent: *
Это значит, что правила, которые будут прописаны ниже, предназначены для всех поисковиков без исключения.
Далее можно увидеть такую строку:
User-agent: Yandex
Несложно догадаться, что под этой строчкой будут прописаны запреты конкретно для системы Яндекс.
Само слово Disallow переводится как «Запрет». Следовательно, если в каком-то robots будут правила начинающиеся словом Allow, — это будет значить обратное, то есть требование к обязательной индексации.
В самом конце Роботса можно увидеть такие строки:
Host: teweb.ru
Sitemap: http:// teweb.ru/sitemap.xml
Первое правило указывает на главное зеркало нашего блога, а второе вежливо подсказывается поисковикам, где находится наша xml карта, которая очень помогает правильной и быстрой индексации страничек.
Еще раз обращаю ваше внимание на то, что при составлении robots для wordpress сайта, нельзя допускать вольностей. Например, если вы строку Host захотите прописать вот так:
Host: https://teweb.ru/
— это будет неправильно.
Теперь обратите внимание на то, как должен называться наш файл. Это обычный текстовый документ с расшеринием «txt» и названием с маленькой буквы — «robots».
Можете просто скопировать код ниже, или скачать его прямо с моего сайта при помощи ссылки, которую я указал в статье ранее.
Правильный robots.txt для WordPress
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /tag Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: /*?* Disallow: /*? Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/uploads Disallow: /wp-admin/ Disallow: /wp-includes/ User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /tag Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: /*?* Disallow: /*? Disallow: /wp-content/uploads Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Host: teweb.ru Sitemap: https://teweb.ru/sitemap.xml
Ну а теперь осталось только проверить работоспособность и «адекватность» нашего нововведения. Для этого зайдем в Яндекс Вебмастер по адресу:
Теперь добавим robots.txt и проверим его:
Именно этот файл, друзья, я на протяжении нескольких лет успешно использую на всех подконтрольных мне wordpress сайтах.
Надеюсь, теперь вы можете составить правильный robots.txt и превратить свой блог в сверхмощный и суперпосещаемый проект!
