Обходят ограничение гугля в 1000 запросов - есть идеи как?

[kuka4a]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Тут при парсинге обходят ограничение гугля в 1000 запросов - есть идеи как?

 

[psknnn]

тупо добавляют ключи, много, разных поочереди.... наприме делают 30запросов по 1к получают 15к, дубли просто фильтруют...

Просто - парсер элегантно обходит ограничение гугла в 1000 доков. Естественно, что вы не получите точное кол-во, которое указывет гугл на ваш запрос, ибо уникальных урлов по домену, там в десятки раз меньше.

ответ на вопрос )

 

[kuka4a]

Не думаю - это ж сколько айпишников надо чтобы по этому алгоритму работать.

 

[usasoft]

там и чекер pr у них, если заметил, т.е. используют прокси для парсинга и чека pr, остальное все psknnn рассказал)

 

[dump1111]

Так а что если твой парсер просто будет юзать прокси, куки и т.д. По проксям вроде как не палиться.

 

[stranni]

Я знаю только два варианта, через прокси сервера и сменой айпи айпи, еще еть скрипт для сапы, linkfeedator у него есть специальные боты, тоесть дополнительные скрипты которые можно раскидать по разным серверам и это помогает обойди ограничения яндекса на 1000 запросов с одного айпи, может и для гугли уже есть что то подобное, я правда об этом не слышал.

 

[Hilo]

Я например при запросах и парсинге более 1к захожу на сам гугль и ввожу капчу.
Но потом все-таки парсинг прекращается.
Может действиетльно брать количеством за один запрос?