andyf
Профессор
- Регистрация
- 16 Сен 2006
- Сообщения
- 135
- Реакции
- 37
- Автор темы
- #1
AutoProxyGrabber с подробным мануалом на русском.
Возможности:
программа написана полностью на языке Perl с использованием только модуля Socket.pm;
позволяет грабить списки прокси с любых URL, какими сложными бы они не были;
гибкая настройка шаблонов поиска нужных строк;
обработка списка: сортировка, удаление дубликатов;
запуск всеми возможными способами: шелл, крон или HTTP;
вывод отчёта работы в LOG файл;
Состав комплекса
AutoProxyGrabber состоит из нескольких связанных между собой модулей. Это: downproxy.cgi главный запускаемый файл
downmask.cgi подпрограммы поддержки поиска (шаблоны поиска)
downpph.cgi файл с общими процедурами
Файлы с данными: downproxy.txt список прокси-серверов, получаемый в результате работы
downproxy.tmp временный файл необходимый для работы
downlink.txt список ссылок, по которым будет производиться грабинг
downproxy.log LOG файл
Как это работает:
Грабер предназначен для работы в автономном (или консольном) режиме при
установленном соединении с Интернет.
Скрипт запускается в шелле, кроне или через HTTP, загружает файлы настройки,
и переходит в обычный рабочий режим. После завершения сбора прокси-серверов
скрипт сортирует список в алфавитном порядке и удаляет дубликаты.
P.S. Если его связать с APChecker для дальнейшей обработки списка сграбленных прокси, то можно наслаждаться
Возможности:
программа написана полностью на языке Perl с использованием только модуля Socket.pm;
позволяет грабить списки прокси с любых URL, какими сложными бы они не были;
гибкая настройка шаблонов поиска нужных строк;
обработка списка: сортировка, удаление дубликатов;
запуск всеми возможными способами: шелл, крон или HTTP;
вывод отчёта работы в LOG файл;
Состав комплекса
AutoProxyGrabber состоит из нескольких связанных между собой модулей. Это: downproxy.cgi главный запускаемый файл
downmask.cgi подпрограммы поддержки поиска (шаблоны поиска)
downpph.cgi файл с общими процедурами
Файлы с данными: downproxy.txt список прокси-серверов, получаемый в результате работы
downproxy.tmp временный файл необходимый для работы
downlink.txt список ссылок, по которым будет производиться грабинг
downproxy.log LOG файл
Как это работает:
Грабер предназначен для работы в автономном (или консольном) режиме при
установленном соединении с Интернет.
Скрипт запускается в шелле, кроне или через HTTP, загружает файлы настройки,
и переходит в обычный рабочий режим. После завершения сбора прокси-серверов
скрипт сортирует список в алфавитном порядке и удаляет дубликаты.
P.S. Если его связать с APChecker для дальнейшей обработки списка сграбленных прокси, то можно наслаждаться
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
