[Архив] Multi Search Parser III

[Sunford]

Кто юзал Multi Search Parser II поделитесь впечатлениями? у меня там опции по работе с базами не работают, а так все гуд. И еще видел Multi Search Parser III (скачать не хватает постов) че там есть нового ?

 

[sumo]

по моему это одно и тоже )))
судя по файлам )

 

[holms]

Я вообще не понял, это что разные версии думал калиан ту же что и у меня выложил, ладно позже протестирую. А вообще хороший парсер, главное больше проксей и потоков не более 50 даже на выделленных серверах, и запросов тоже не особо много если вы даете 1 запрос и ставите парсить по всем зонам то это уже 244 запроса а если еще и по 29 основным языкам то 244*29 = 7076 запросов, плюс к этому допустим глубина 10, тогда 70760 стоко страниц надо отпарсить линксу по 100 в каждой и не забываете он каждую строчку запроса ложит в файл, который у некоторых ламеров я видел весит по 2 гига и сервер висит месяцами . Что хотел сказать етим что им очень легко повесить сервак, поэтому перед запуском оценивайте, а вообще на выделленом сервере за 10 минут 10к - 15к парсит без проблем.

 

[sumo]

Я вообще не понял, это что разные версии думал калиан ту же что и у меня выложил, ладно позже протестирую. А вообще хороший парсер, главное больше проксей и потоков не более 50 даже на выделленных серверах, и запросов тоже не особо много если вы даете 1 запрос и ставите парсить по всем зонам то это уже 244 запроса а если еще и по 29 основным языкам то 244*29 = 7076 запросов, плюс к этому допустим глубина 10, тогда 70760 стоко страниц надо отпарсить линксу по 100 в каждой и не забываете он каждую строчку запроса ложит в файл, который у некоторых ламеров я видел весит по 2 гига и сервер висит месяцами . Что хотел сказать етим что им очень легко повесить сервак, поэтому перед запуском оценивайте, а вообще на выделленом сервере за 10 минут 10к - 15к парсит без проблем.

это что у тебя такие за мудрёные настройки что он тебе всё хорошо ищет ? я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))

 

[holms]

это что у тебя такие за мудрёные настройки что он тебе всё хорошо ищет ? я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))

Увы так и есть хлама много, если парсиш гугл, а с мсн у меня было конечно меньше ресурсов, парсил без прокси, но мусора почти небыло, весь мусор у меня был с гугла это порядка 90 % всего отпарсеного, но что тут говорить если с одного запроса вытягивал 100к конечно там всякого говна было, ну а что ты хотел, чем глубже роеш тем больше мусора, даже возьми GS парсер тоже хорошо парсит и по поддоменам, но естесно мусора много. Но лучше парсера чем линкс из серверных пока не встречал, хотя говорят, но сам не юзал.

PS Я не говорил что он у меня все хорошо ищет, читай внимательней

 

[bes555]

я сколько не пользовался им, сколько не редактировал запросы, парсит 70% хлама всё остальное нормальное, то что надо, потом на дубли сортируешь и получается из того, что он там собрал 50к, по ду***м выкидывает всё и остаётся 1к, при том, тчо я руками набираю базу больше и быстрее )))

Ээээ, а как парсер может повлиять на количество мусора в выдаче гугла??? Кроме как показывать/не показывать omitted results...
Гугле верить нельзя: когда она говорит, что найдено документов: 4 тыщи, пролистай выдачу, она на третьей странице закончится ---0
Утрирую маленько, но все равно не любит гугля (да и многие другие поисковики выдавать полезные резалты на хитрые запросы)
Кстати, гугл практически никогда не ставит две страницы с одного (саб)домена на одну страницу выдачи, но раскидать домен по разным страницам - всегда пожалуйста
Вот что парсер должен уметь делать, так это смотреть если в запросе есть inurl:, то проверять чтобы в урлах вытащенных с этого запроса был инурловый текст.

 

[Gooogle]

Ссылку на скрипт дайте, пожалуйста....

 

[arp]

Ссылку на скрипт дайте, пожалуйста....

Марио. ты идиот совсем или притворяешься?! хватит набирать посты! поиск не судьба использовать?

P.S. он специально постит бессмысленные посты. Я ему отвечал в некоторых, но ноль реакции. достаточно посмотреть на посты и время ответа.

 

[vojager]

нету нигде