Ускорение роботы парсера

[Сергiй]

Привет гуру, посоветуйте какими способами можно ускорить работу парсера, написали мне парсер, но за сутки в 2 потока не солью даже 15000 продуктов. Парсит со страниц сайта

 

[Genk0]

какой парсер, кто написал, на чем написал, зачем написал, что он делает, почему он так делает?

ГДЕ конкретика?!
"Скажите, почему у меня шнурки не завязываются крестиком?!"

 

[Сергiй]

написан на php, регулярные выражение, парсит товар с sportsdirect.com, какая информация ещё нужна?

 

[Genk0]

да кто ж знает что там за парсер то? написать можно что угодноо внутри, как тебе могут помочь не зная как он работает?!

 

[esche]

ускорить работу парсера, написали мне парсер, но за сутки в 2 потока не солью ...

А в ТЗ наверняка про скорость ничего не было?

Если парсер позволяет - запускать на разных компах разные разделы дёргать. Можно на одном (в нескольких вкладках), если донор не обидчивый.

А вообще - есть смысл спешить? Откуда срок "сутки" взялся?

 

[Сергiй]

Скорость будет в следующем ТЗ ) Задача была сделать парсер с интеграцией в престу,на счёт скорости, продуктов много, цены и продукты часто меняются, пока запускаю в 2 потока с одного IP.

 

[MaxiSoft]

Ну как бы единственный вариант когда не видишь что за парсер предложить каким то образом сделать через прокси хотя бы на 10-15 потоков.

 

[LexTalionez]

А запущен он хотя бы на нормальном интернете?

 

[E-body]

Неочень удобный магазин для парсинга, там категории беда. А товаров свыше 80.000 (парсил Content Downloader)

 

[UJy]

Неочень удобный магазин для парсинга, там категории беда. А товаров свыше 80.000 (парсил Content Downloader)

Вообще не увидел в магазине проблем с парсингом контент даунлодером. Все категории/подкатегории выстроены красивенько, составить список ссылок легко. Товар правда на 1 уровне лежит, но по бредкрамбсам легко выстраивается структура категорий. Очень простой и удобный сайт в парсинге...

По вопросу ТС - если парсер такой уж тормозной - выложи файл под хайдом - пусть люди посмотрят, возможно решение достаточно простое.
Например в парсере стоит защита от бана и запросы на сайт при парсинге отсылаются с задержкой в пару секунд, что б он не принял это за DDOS и не забанил IP. Уменьшил задержку - увеличилась скорость...