Книга: Прибыльный блог: создай, раскрути и заработай

Robots.txt

Robots.txt

Индексацией сайта можно управлять с помощью файла Robots.txt, расположенного в корне сайта. Для автономных блогов этот файл используют для того, чтобы закрыть страницы, содержащие дублированный и ненужный для индексации контент.

Закрыть от индексации нужно следующие страницы:

? панель администрирования блога, страницы регистрации, авторизации, восстановления паролей;

? отдельные страницы комментариев;

? страницы, на которых расположены файлы тем, плагинов, кэширования;

? страницы перенаправления (редиректы);

? страницы трекбеков;

? RSS-фиды;

? поиск по блогу.

Для создания файла robots.txt для WordPress можете использовать приведенный ниже шаблон.

Листинг 4.1. robots.txt для WordPress

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: */trackback

Disallow: */comments

Disallow: */comment-page

Disallow: */trackback/

Disallow: */feed

Disallow: *?feed=

Disallow: /?s=

Sitemap: http://blog.ru/sitemap.xml

Host: blog.ru

Таким образом, файл robots.txt помогает исключить из индекса лишние страницы и управлять индексацией блога.

Оглавление книги