Поиск по форумам

[Kanjo]

Всем доброго времени суток. Готового решения не нашел, поэтому решил спросить совета/помощи.

Задача: поиск новых тем по списку форумов, где употребляется нужное слово/выражение

Есть база тематических форумов, необходимо, чтобы скрипт через определенный интервал времени коннектился к этим форумам и собирал урлы страничек, где встречается необходимая фраза. Потом выводил что-то из серии таблички, в которой указана фраза, ниже урлы и т.д. по каждой фразе.

Такое вообще сложно реализовать ?

 

[Kanjo]

Подниму тему вверх. Все еще очень актуально. Может быть у кого-то есть наработки или подскажет, как реализовать ?

 

[wiggly]

Если искать по слову в названии темы то можно парсить страничку с новыми темами на форуме через cUrl и потом выводить у себя нужную информацию.

 

[Kanjo]

По названию парсить не вариант, т.к. часть слов специфические и вероятность того, что их упомянут в названии ничтожно мала. Надо парсить именно контент. К примеру для этих нужд можно использовать внутренний поиск по форуму. Но тогда нужна задержка примерно 1 минута. По моей практике именно такое временное ограничение используют наиболее популярные сайты.

Парсить выдачу или поиск по сайту через Яндекс/Гугл не подходит, т.к. на тот момент когда они появятся в выдаче обсуждение может быть уже не актуальным.

 

[siriusfrk]

Можно попробовать обращатся последовательно к каждому посту, меняя параметры в URL и смотреть наличие на них нужного контента. Но тут будет зависеть от версии движка.

 

[Kanjo]

К каждому посту это ад конечно, долго и нагрузка будет идти большая. Проще через внутренний форумный поиск мне кажется, т.к. интересуют исключительно профильные площадки. Форумов штук 20, не больше. Фраз пока около 100 шт. Если дергать каждый пост, то это пипец как долго будет.

Так же заметил на некоторых популярных площадках, что поиск доступен только авторизованным пользователям. Не моя тематика конечно, но для примера можно взять searchengines.guru. Там как раз поиск закрыт от гостей и доступен только пользователям.

 

[latteo]

Класс программ которые облегчают данную задачу называется Scraper. Для php есть тройка популярных Для просмотра ссылки Войди или Зарегистрируйся
Рекомендую начинать попытки с Goutte
Пример POST-запроса: Для просмотра ссылки Войди или Зарегистрируйся

 

[Kanjo]

latteo, спасибо большое за наводку. Погуглю на досуге, постараюсь разобраться. Пока бегло посмотрел и на данном этапе знакомства мне кажется, что проще отдать на аутсорс будет подобный скрипт, чтобы его настроили, т.к. в программировании понимаю методом научного тыка

 

[latteo]

latteo, спасибо большое за наводку. Погуглю на досуге, постараюсь разобраться. Пока бегло посмотрел и на данном этапе знакомства мне кажется, что проще отдать на аутсорс будет подобный скрипт, чтобы его настроили, т.к. в программировании понимаю методом научного тыка

Тема в разделе "Разработка" по-этому такой ответ. Готовые скрипты такого плана редкость, а вот программ скраперов довольно много покопай в эту сторону. Тот же Для просмотра ссылки Войди или Зарегистрируйся вроде бы больше для пользователей, чем для программистов.