Составляем правильные robots.txt для своего блога

Добавлено 31.10.2007 | Нюансы оптимизатора

Прочитавши вот эти материалы:




Для своего блога составил вот такой вот robots.txt

User-agent: *
disallow: /cgi-bin/
disallow: /error/
disallow: /wp-register.php
disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*
Disallow: */feed/
Disallow: */trackback/

Правда судя по показаниям чекера
Яндекс вот этой конструкции не понимает: 

Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*

А правильно понимается вот такая конструкция: 

Disallow: /2006/
Disallow: /2007/