На чем писать паука?

[pastuhoff]

Не рассматривали варианты на Python? В особенности Grab (Spider). Я не к тому, что это решает ваш вопрос. Просто один из вариантов, потому как скорость парсинга на разных библиотеках реально отличается

Я python не знаю. Пока остановился на php с мультикурлом, ибо приемлемо по времени получается.

 

[Ultharas]

Так вышло, что я начать парсить именно на Python'e, потратил времени при этом - недели 2. Всё нужное, включая экспорт, прокси, многопоточность, имитация юзера и т.д.. Потом для сравнения пробовал php + curl. имхо на python'e проще и быстрее. Для меня php - зло, просто многие к нему привыкли