как парсить гуглю

[mrDobrij]

Каким парсером пользоваться чтоб на запросы inurl....... гугла вела себя адекватно и не ограничивала 200 страницам.

Когда просто в Опере смотрю с теми же запросами то все в порядке

 

[Yaggi Jah]

Похоже что ты задаёшь "палевный" запрос - а ля inurlhpbb. Попробуй найти какие-то общие ключевые слова присущие сайтам искомого типа, реже пользуйся спецзапросами.

 

[ckp]

Yaggi Jah +1
ТС, попробуй задать менее паленые запросы. иначе гугля так и будет тебя резать. попробую парсить мсн. из личного опыта базы у меня там лучше и качественней парсились.

 

[hoopeer]

ограничение всёравно будет, какой ты бы парсер не использовал. Просто надо разбить запросы на части, например,

inurl:blog site:com
inurl:blog site:ru
inurl:blog siterg
inurl:blog site:us
inurl:blog site:net
inurl:blog -site:com -site:ru -siterg -site:us -site:net


К примеру, запросом inurl:blog site:com опять будет ограничение, тогда надо разбить запрос на две части
inurl:blog site:com -inurl:www
inurl:blog site:com inurl:www

Далее, к примеру, inurl:blog site:com inurl:www не выдаст все результаты его надо разбить ещё несколько раз. Вот примерно такой алгоритм

 

[Weil]

Каким парсером пользоваться чтоб на запросы inurl....... гугла вела себя адекватно и не ограничивала 200 страницам.

Когда просто в Опере смотрю с теми же запросами то все в порядке

Вопрос не совсем правильный. Дело в том, что если использовать оператор inurl, гугля очень быстро забанит твой айпи. Так что в настройках парсера желательно должна быть настройка задержки парсинга.

 

[pvrj]

Я пользуюсь GS SE Parser уже год. Неплохой парсер к тому же бесплатный. Чтобы избежать блокировки гугла попробуй таймаут между запросами увеличить, скажем, до 10 секунд (или больше). В общем поиграйся со значениями, так найдешь оптимальное.

 

[astery]

поиск на ..

А что лучше поставить на свой сайт ввиде поисковика? посоветуйте

 

[scarm]

мне xrefer понравился хорошая вещь, а ограничение в 200 ссылок вы никак не обойдете, разнообразие доп.запросов рулит

 

[DOKTOR_666]

используйте вариации
просто подставляя слова в конец запроса ... тогда выдача будет мешаться и напарсите много