Парсинг яндекса, как это делается сейчас?

[KSiG]

VPN это хорошо, но иногда это выходит дороже по средствам. Проще написать программу на C# многопоточную, которая будет коннектиться и к API антигейта, и к API прокси сервиса (да, я встречал такие). Работало всё отлично, кроме того, что сервис прокси был отстойный (около 200 рублей в месяц. Копейки) и у него было API. Соответственно, можно сделать вывод, что у более дорогих прокси сервисов обязательно должны быть API, что в свою очередь делает разработку необходимого продукта максимально простым.

 

[Denixxx]

Ниже приведён список сайтов и по каждому сайту свои лимиты. Как это высчитывается, есть предположение что по ранжированию и тИЦ.

Скорее по посещаемости, исходя из Я.Метрики

 

[Ultharas]

VPN это хорошо, но иногда это выходит дороже по средствам. Проще написать программу на C# многопоточную, которая будет коннектиться и к API антигейта, и к API прокси сервиса (да, я встречал такие). Работало всё отлично, кроме того, что сервис прокси был отстойный (около 200 рублей в месяц. Копейки) и у него было API. Соответственно, можно сделать вывод, что у более дорогих прокси сервисов обязательно должны быть API, что в свою очередь делает разработку необходимого продукта максимально простым.

я взял VPN-ы на полгода за 700руб (что, походу, выгоднее чем "отстойный прокси за ~200руб/мес"). Опять же, многопоточность можно и на питоне написать, что я и делаю

 

[KSiG]

я взял VPN-ы на полгода за 700руб (что, походу, выгоднее чем "отстойный прокси за ~200руб/мес"). Опять же, многопоточность можно и на питоне написать, что я и делаю

Ну тут кстати от преследуемой цели. У меня было постоянно 50 асинхронных потоков, которые каждые 10 запросов получали новый список прокси. Функция каждого потока была минимальна - обратиться к сайту, вытащить информацию с помощью регулярки и всё. И при частых запросах с одного айпи выкидывало ошибку, свидетельствующая о наличии ддос защиты у сайта. Мне просто большое количество IP адресов нужно было не весьма хорошего качества.

 

[KaiSer77]

Никто не пробовал делать парсинг с использованием таблиц google средствами Google App Script?

 

[sparsame]

Покупай лимиты xml у яши.... и будет тебе счастье.. Поищи яндекс xml сток

 

[anzhu]

Пара десятков прокси должна решить проблему с парсингом яши.