Составляем список "лишних" роботов которые грузят сервер, их описание и способы бана

[Lord_Woland]

Лично я для продвижения в гугле использую такой список блокировок через .htaccess.

Пока что ни разу не подводил.

UPD: удалил дубли в прошлом списке.

 

[pookkalo]

Ребятки! Чтобы не грузить сервак, "одним robots.txt сыт не будешь"! Есть боты, которым положить на robots.txt. Используйте подмену. Вот кусок моего конфига для nginx (от апача давно отказался, но переделать ума много не надо) :

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

sitemap.deny.txt делаете пустым, а robots.deny.txt:

Надеюсь идея понятна. За одно усложните жизнь малолетним недохацкерам.

 

[Crazy Demon]

можно и iptales резать
iptables -I INPUT -p tcp -m tcp --dport 80 -m string --string "InterfaxScanBot" --algo kmp --to 65535 -j DROP