Парсинг яндекса, как это делается сейчас?

[Mendel]

Подскажите люди добрые как делать автоматические запросы к яше в современных условиях? Как я посмотрю все старые механизмы уже устарели. По АПИ непонятно вообще какие лимиты. Старые ключи нерабочие. В общем вылез я из берлоги, а за пять лет поезд то ушел)

Если коротко, то мне нужно делать пару тысяч запросов в сутки (возможно скоро пару сотен тысяч, но сейчас и три тысячи хватит) к яндексу или гуглу. Обычные поисковые запросы, обычная выдача. Достаточно только урлы получать. Если кто даст готовый АПИ за разумную денежку, то буду благодарен. Ну или в общих чертах набросайте что сейчас происходит.

Правильно ли я понял, что сейчас парсят обычными регулярками через прокси, и в случае капчи лупят капчу через сервисы капчи? Если да, то какие сервисы капчи сейчас в моде? У кого брать прокси под это дело лучше всего? Так чтобы надежно было....

 

[TopReseller]

хорошие прокси
антигейт и рукапча

 

[RAPCorp]

Америку не открою, но всё же Для просмотра ссылки Войди или Зарегистрируйся

 

[PyroMan2012]

По вопросу распознавания капчи - меня антигейт полностью устраивает. Пробовал другие подобные сервисы - везде какие-нибудь досадные мелочи, которые все испортили
Раньше, когда требовались прокси - пробовал покупать и с рук, и на всяких "модных" сервисах. С рук всегда получались качественнее, почему-то.

 

[Mendel]

Америку не открою, но всё же Для просмотра ссылки Войди или Зарегистрируйся

Я в эти игры больше не играю. Играть по необъявленным правилам нет смысла. Не верю я им. Делаешь всё по правилам, а потом тебе сообщают о том что для твоего сервиса апи не дадут. Почему? Просто так. Как узнать кому дадут а кому нет? Потратить полгода на разработку и раскрутку. Нафиг-нафиг. Собственно с апи и хочу слезть (лимиты на запросы мы делаем по своему усмотрению, как вам из увеличить мы не скажем, целуйте нам ноги за это, а то будет с вами как с ЦОПами).

 

[RAPCorp]

Я в эти игры больше не играю. Играть по необъявленным правилам нет смысла. Не верю я им. Делаешь всё по правилам, а потом тебе сообщают о том что для твоего сервиса апи не дадут. Почему? Просто так. Как узнать кому дадут а кому нет? Потратить полгода на разработку и раскрутку. Нафиг-нафиг. Собственно с апи и хочу слезть (лимиты на запросы мы делаем по своему усмотрению, как вам из увеличить мы не скажем, целуйте нам ноги за это, а то будет с вами как с ЦОПами).

Вообще-то лимиты передаются от сайтов добавленных в вебмастер, либо от любого другого пользователя.

 

[Mendel]

Вообще-то лимиты передаются от сайтов добавленных в вебмастер, либо от любого другого пользователя.

Передаются как? Ок, я сформулирую чуть проще - мне надо на один хит пользователей делать восемь запросов к поисковику.

 

[RAPCorp]

Передаются как? Ок, я сформулирую чуть проще - мне надо на один хит пользователей делать восемь запросов к поисковику.

Для просмотра ссылки Войди или Зарегистрируйся - вот тут, добавленные в вебмастер сайты показывают сколько у сайтов есть лимитов, вот у меня общих 280.

Вот скриншот моей панели: Для просмотра ссылки Войди или Зарегистрируйся

Ниже приведён список сайтов и по каждому сайту свои лимиты. Как это высчитывается, есть предположение что по ранжированию и тИЦ. Ещё одно забыл написать, количество лимитов это количество запросов в сутки, а там уже сами высчитывайте сколько надо.

 

[papacarlo]

Также обращайте внимание на график "Разрешённое число запросов в зависимости от времени суток" - оно неравномерное в течение суток

 

[Ultharas]

Еще, вместо медленных проксей можно юзать vpn-ки. Юзаю в связке с питоном, можно и многопоточность организовать