Как робота тормознуть

[prodox]

Гда то слышал, что в робот.тхт можно дать указание чтоб с задержкой сканировал. сколько то миллисекунд
Я меня как яша на сервак приходит - сервер тормозит страшно

 

[tirrex]

это директива Crawl-delay, задает минимальное время (в секундах) между окончанием сканирования одной страницы сайта и началом индексации следующей, директиву следует добавлять к группе, начинающейся с записи User-agent, непосредственно после строки Disallow (Allow).

напрмер так
User-agent: Yandex
Disallow: /administrator
Crawl-delay: 3

 

[anthrax]

Еще никто не отменял:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Вот здесь все ответы на подобные ответы.