Составляем правильные robots.txt для своего блога
Прочитавши вот эти материалы:
Для своего блога составил вот такой вот robots.txt
User-agent: *
disallow: /cgi-bin/
disallow: /error/
disallow: /wp-register.php
disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*
Disallow: */feed/
Disallow: */trackback/
Правда судя по показаниям чекера
Яндекс вот этой конструкции не понимает:
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*
А правильно понимается вот такая конструкция:
Disallow: /2006/
Disallow: /2007/