как собрать урлы всех топиков с форума

[barbakan]

Как и чем можно собрать урлы всех топиков с форума кроме парсинга поисковиков.

Например мне нужно с форума Для просмотра ссылки Войди или Зарегистрируйся
собрать ссылки на все топики тиgа Для просмотра ссылки Войди или Зарегистрируйся , Для просмотра ссылки Войди или Зарегистрируйся

Какой прогой это можно сделать?

 

[Serg78]

Offline Explorer ,загрузить карту сайта.

а потом распарсить полученные файлы на предмет урлов

 

[sarda]

Как вариант, можно взять самый свежий топик, взять его id.
Все значения viewtopic.php?t= , что ниже - топики, что уже существуют(или существовали). Если форум модерируется, то несуществующих может быть достаточно много.

 

[alex-bot]

В общем ответ уже дали, самый быстрый способ это сделать карту сайта, и потом уже распарсить урлы. Если интересует десктопное решение то GSiteCrawler в помощь все необходимое присутствует, вот только скорость не оч большая.

 

[skabbit]

если на сайте есть sitemap.xml - тогда никаких проблем.

а так среди надёжных версий - самому написать паучка, который бегает по форуму и собирает все линки. пишется такое реально быстро.