Aura SE Parser 1.1 by Nulled.WS

Поправлю чуток IO:Uncompress::Gunzip так правильнее будет ;)
 
КПД Ауры

Еще раз хочу поинтересоваться о мнении народа о сием парсере? КПД меня удручает, прогнал по базе запросов, довольно простецкой но тем не менее, он нажрал мне 2,5М линков из них уников он насчитал 150к, после проверки в АГГРЕССе на повторы уников там стало 35к, думал база запросов кривая, перелопатил базу, сделал более разношерстной и т.д. история повторилась, КПД примерно 5-9% ф топку **х такой парсер, или я чего-то не понимаю? :nezn: :bc:
 
Количество уников зависит от запросов, а не от Ауры. Сам подумай, ведь чтобы вытащить больше урлов, он подставляет тлд, доп. запросы и т.п., конечно там будут дубли. Любой парсер выдаст такую же картину.
 
Ну то что будут дубли, это понятно что один запрос может включать в себя другой и наоборот, но дело в том, что складывается ощущение, что он просто берет первые 100 на выдаче и "едет дальше", я понимаю когда дублей 20% ... даже 50% ... но когда дублей 70-80%, это заставляет задуматься, причем и алд и доп запросы не помогают. :mad:

Короче, просто-напросто оно прет ВСЕ что проиндексировалось у гугла с одного урла по запросу ... 1 страница, значит 1, 1000 страниц, значит все 1000 выкачивает ... причем своим фильтром она всю эту парнуху не фильтрует, по крайней мере у меня.
Подскажите чем профильтровать базу на 2.5М линков, пробовал AGGRESSом, но сцуко комп виснет :(
 
У меня похожая ситуация. Попробуй другие скрипты, например Хрумер (сейчас доступна версия 2.9)
 
16.04.2007
Вышел еще один фикс :). Сделан ряд исправлений при работе с макроподстановками. Чекаем мыло.
Нажмите для раскрытия...
Возможно как раз этот фикс и исправляет большое количество дублей.
 
Скажите пожалуйста, зачем нужен этот парсер или где почитать про это.
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху