Обход урлов

[SocMaster]

В общем есть база, дорчиков, на хотя бы раз в сутки проверять на валидность урлов все ли ок и вносить в mysql результат.
Сейчас сделано все просто, ajax, список всех урлов, нажимаем кнопку и начинается обход, запрос на php файл там curl и результат все как надо.
Но до 6к урлов работало вменяемо, дальше уже начинаются баги, то не обновляется весь список то виснет.

Как лучше сделать ?
Смотрю в сторону gearman, хочу на него вешать задачу обновления.

p.s лимит времени выполнения скриптов 120с

 

[ykpon]

Добавлять в мускул время последнего обновления и если оно меньше, чем N, то не трогать.

 

[SocMaster]

Добавлять в мускул время последнего обновления и если оно меньше, чем N, то не трогать.

Причем тут это? Там пишется время обновление. Надо обновлять все урлы, но что б быстро и желательно в фоне. т.е без использования браузера

 

[ykpon]

Причем тут это? Там пишется время обновление. Надо обновлять все урлы, но что б быстро и желательно в фоне. т.е без использования браузера

При том, что:

до 6к урлов работало вменяемо

дальше уже начинаются баги,

И что значит:

желательно в фоне

Любой скрипт, который запускается посредством ajax или cron, например, будет работать в фоне. Да достаточно просто обратиться к скрипту и он будет работать в фоне, пока не дойдет до своего логического завершения.

 

[SocMaster]

При том, что:




И что значит:

Любой скрипт, который запускается посредством ajax или cron, например, будет работать в фоне. Да достаточно просто обратиться к скрипту и он будет работать в фоне, пока не дойдет до своего логического завершения.

Каждый урл обходится в цикле и идет запрос через ajax с урлом на скрипт, где скрипт уже обрабатывает урл
А хотелось бы сделать все в фоне, т.е запустил обновление и в фоне без лимита по времени многопоточно идет обработка урлов

 

[javx]

Каждый урл обходится в цикле и идет запрос через ajax с урлом на скрипт, где скрипт уже обрабатывает урл
А хотелось бы сделать все в фоне, т.е запустил обновление и в фоне без лимита по времени многопоточно идет обработка урлов

Мультикурл используется? если не успевает всё проверить за 120 сек, то пусть запускается несколько раз, по условию проверить только те урл где проверка была позже чем 10 минут назад. Ничего сложного на самом деле. Если не понятно напиши в личку, растолкую подробнее.

 

[ykpon]

Каждый урл обходится в цикле и идет запрос через ajax с урлом на скрипт, где скрипт уже обрабатывает урл
А хотелось бы сделать все в фоне, т.е запустил обновление и в фоне без лимита по времени многопоточно идет обработка урлов

Сам и ответил на свой вопрос.
Из скрипта, который запускает curl и сам запускается посредством cron, дергай другой скрипт.
Скрипт А запускаешь через CRON, в нем берутся URL'ы из базы и в цикле дергается другой скрипт с GET параметром адреса, например. И будут они у тебя в цикле запускаться несколько.