Robots.txt WordPress. Правильный robots.txt для вордпресс сайта

Автор Damir-Tote. Опубликовано в WordPress

Robots.txt Wordpress. Правильный robots.txt для вордпресс сайта ограничивает доступ к содержимому этого сайта. Для того, чтобы больше ознакомиться с данной темой, советую пройти по этой ссылке damir-tote.ru/robots.txt.

Для ограничения доступа Вам следует создать файл robots.txt и поместить его в корень Вашего сайта, блога и т.д., при этом вписать в нем определенные стоки. Я сам работаю на Wordpress, поэтому напишу конкретно о создании robots.txt для этого движка.Robots.txt WordPress. Правильный robots.txt для вордпресс сайта

Если Вы еще не имеете такой файл, то самое время создать и разместить его в корне сайта на сервере.

Как Вы знаете, поисковый робот занимается индексацией содержимого и поиска такого компонента Вашего  блога  как sitemap.xml (если и его у Вас нет, отсюда вытекает, что Вам следует еще больше ознакомиться с такой наукой как блоговедение. Советую открыть этот пост). На возможность индексирования указывает именно файл robots.txt. Также он показывает и на присутствие  sitemap.xml в Вашем сайте.

Поисковый робот тратит достаточно большое количество времени на индексацию всех папок, которых очень много, поэтому, для экономии времени и достижения качественного поиска, необходимым является файл, указывающий на исключительно нужные папки. Так что к созданию этого файла прошу отнестись внимательнее, как же все-таки это сделать? На самом деле в этом нет ничего сложного. У себя на компьютере создайте файл txt и напишите в нем все точно так же как и здесь:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: damir-tote.ru
Sitemap: http://damir-tote.ru/sitemap.xml.gz
Sitemap: http://damir-tote.ru/sitemap.xml

Изменить нужно только адрес, прописав свой. Вот и все!

Не стоит ни о чем беспокоиться, так как содержимое файла составлено правильно. А самое главное, что такой файл рекомендован самим разработчиками Wordpress. теперь информация на Вашем сайте/блоге в полной безопасности, а Вы владеете знаниями о создании robots.txt и сможете научить этому своих друзей.

Удачи!

Хотите создать для своего сайта или для сайта клиента красивый баннер, то изготовление флэш баннеров в Киеве занимается сайт bannermaker.chaika.net.ua. 

  • Артур

    Disallow: /*?*
    будет запрещать к индексации статьи на сайте, её лучше не вписывать на мой взгляд

.