массовая проверка robots.txt

efs

SEO оптимизатор дискрипторов одностраничных сайтов
Регистрация
20 Ноя 2009
Сообщения
835
Реакции
493
Интересует софт, которому можно скормить пачку доменов и кусок урла, а она на выходе скажет где он в robots.txt закрыт, а где нет.
 
Назад
Сверху