Парсинг гугла

[extrimportal]

Сорри за тупой вопрос. Но никогда не приходилось его парсить. И вот надо напарсить длешок и вот что выходит. По тому запросу что мне надо inurl:blablabla пишет примером 12 к результатов. Когда вот пробую парсить их скажем через олсабмиттер получаю только 300-400 сайтов. Вопрос: а существуют ли те 12 к вообще? и как их можно попарсить если они есть?

 

[gts]

Там до 1000 только показывает, но можно использовать дополнительные операторы для расширенного поиска, указывая доменную зону, язык, страну и т.д.

 

[extrimportal]

Не понял. А к чему это? Мне нужно напарсить все 12 если они есть, а не смотреть их. Это можно сделать?

 

[ar4ik]

Не понял. А к чему это? Мне нужно напарсить все 12 если они есть, а не смотреть их. Это можно сделать?

смотри, больше 1000 результатов по одному завпросу гугл не даст

значит нужно комбинировать спрашиваешь
одну группу сначала inurl:blablabla site:ru
собрал урлы
потом inurl:blablabla site:com
в выдаче уже другой список сайтов, - собрал урлы
и т.д.
потом естественно на дубли почисть

вот с помощью таких доп параметров можно выкачать почти все урлы

можно как в хрефере просто слова дополнительные подставлять
inurl:blablabla news
inurl:blablabla obama
и т.д.

 

[inkubus]

Надо разбавлять парсинг

Пара примеров чтобы понятней было.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[extrimportal]

Ну вот в том то и суть. Вот показывает результат 26 к. Но он даже тысячу не отдаёт! Добавлю я сайт:орг сайт:ру сайт: ком, и чувствую что опять по 300 результатов бросать будет...

 

[SimpleUser]

Придется по 1000 только смотреть.

Гуглу нет смысла показывать все 26к результатов. Мало кто доходит до 10 страницы даже.

 

[inkubus]

Ну вот в том то и суть. Вот показывает результат 26 к. Но он даже тысячу не отдаёт! Добавлю я сайт:орг сайт:ру сайт: ком, и чувствую что опять по 300 результатов бросать будет...

именно так и распарсивают большое колличество урлов. 1000 .com + 1000 .org + 1000 .biz и т.д. Соберешь все 26к

 

[Alternator]

а еще гугл очень быстро банит запосы типа inurl, intitle, и аналогичные
запаситесь большим количеством проксь
возможно как раз в бане и дело

 

[Anton]

Скинь запрос в ЛС, напарсю все, что есть по возможности.