Робот яндекса загружает запрещенные в robots страницы

[mozgon]

яндекс всегда хавал закрытые в роботс страницы.
по крайней мере робот по ним всегда ходит. но если повезёт, то в индекс могут и не попасть)

 

[zilon]

В яндекс вебмастере в разделе Настройка индексирования >> Анализ robots.txt можно проверить какие строчки robots.txt учитываются яндексом, а какие нет. А ещё карту сайта в XML формате можно сделать чтоб наверника показать яшке что надо индесировать