Помогите правильно определить создание robots.txt

[GottMitUns]

В общем-то вопрос скорее к вебмастерам, недавно установил блог на WP в корень сайта и теперь мучает вопрос как правильно составить robots.txt , его нужно править в файле основного сайта или делать отдельный для блога? Заранее спасибо.

[NotSpecified]

http://robotstxt.org.ru/

[GottMitUns]

http://robotstxt.org.ru/

а ткните меня пожалуйста носом где там что-то написано о моей проблемке.

[PROGRAMMATOR]

robots.txt обрабатывается только в корневой директории.
Поэтому в нем делаете записи с учетом подкатегории для блога.

Код:

User-Agent: *
Disallow: /blog/index.php
Disallow: /blog/....php
Disallow: /blog/about/
Disallow: ...

[GottMitUns]

robots.txt обрабатывается только в корневой директории.
Поэтому в нем делаете записи с учетом подкатегории для блога.

Код:

User-Agent: *
Disallow: /blog/index.php
Disallow: /blog/....php
Disallow: /blog/about/
Disallow: ...

Да спасибо, товарищ один подсказал, но он так же подметил что у него в роботс нет записей для WP, объяснив это так "Да и так вроде норально индексируется". Я скептически отнесся к этому предположению, я ведь прав?

[PROGRAMMATOR]

Я закрываю все, что не должно попадать в индекс.
Теги главное закройте, либо не злоупотребляйте ими.

[GottMitUns]

Вот кусок для блога из robots

Код:

Allow: /blog/wp-content/uploads/
Disallow: /blog/wp-login.php
Disallow: /blog/wp-register.php
Disallow: /blog/xmlrpc.php
Disallow: /blog/template.html
Disallow: /blog/wp-admin
Disallow: /blog/wp-includes
Disallow: /blog/wp-content
Disallow: /blog*/trackback/
Disallow: /blog*/feed/
Disallow: /blog*/comments/
Disallow: /blog/?feed=
Disallow: /blog/?s=

Надеюсь всё правильно прописал.

Добавлено через 2 часа 39 минут

Я закрываю все, что не должно попадать в индекс.
Теги главное закройте, либо не злоупотребляйте ими.

С тегами можно хорошо поиграться