[Архив] Sansara 0.7.1

[roddik]

попробуй так запустить
perl -W download.pl

Добавлено через 13 минут
посматри есть ли такой файл
tmp/.downloading
еслит есть то удали его
и запусти download заново
это блокиратор порторного запуска

Спасибо! действительно файлик блокировал. Наверное глючить изначально начало из-за того, что я сразу прописал 400 проксилистов, и начал не дождался окончания парсинга - а файлик остался

 

[inferno[DGT]]

не удаляет дубли в списке экспорта... Ре-чек непонятно как-то работает. Экспортит в файл, просто дописывая его... оцтой

 

[vme]

не удаляет дубли в списке экспорта... Ре-чек непонятно как-то работает. Экспортит в файл, просто дописывая его... оцтой

Дубли удаляются руками, одинаковые урлы идут попорядку. Экспорт в файл не дописывает, а именно преписывает заново с новыми результатами.

 

[blackspy]

Ну скрипт скачивает один и тот же лист и прокси записывает себе в базу при этом количество проксей растёт и дублей туева хуча и потом это дело проверяет и получается, что экспорт лист растёт из-за дублей.
Косяк намбер ту!

 

[zetar]

Ну скрипт скачивает один и тот же лист и прокси записывает себе в базу при этом количество проксей растёт и дублей туева хуча и потом это дело проверяет и получается, что экспорт лист растёт из-за дублей.
Косяк намбер ту!

cgi-bin\download.pl

ну ввобщето в коде есть
# removing duplicates - proxies
но как работает не смотрел

 

[vme]

Ну скрипт скачивает один и тот же лист и прокси записывает себе в базу при этом количество проксей растёт и дублей туева хуча и потом это дело проверяет и получается, что экспорт лист растёт из-за дублей.
Косяк намбер ту!

Проверил экспортированные прокси, дублей ноль, обновил, опять дублей ноль.
Дубли в базе скрипта (самого скрипта, где делается речек) появляются из-за дублей урлов, откуда парсятся прокси имхо

 

[blackspy]

У меня был в списке только один лист откуда парсятся прокси. За ночь этот лист скачался несколько раз и количество проксей как нечеканных так и чеканных увеличелось в разы.

 

[hoopeer]

Чекером доволен
Всё делает как надо: парсит списки, чекает и заливает в место откуда спамилка берет прокси.

 

[serjb]

В конце концов поставил это чудо чекер. Про то как ставил - отдельная сага. Сейчас о самом скрипте, точнее я бы сказал о "бетке". Поговорим о достоинствах и недостатках.

Достоинства
1. Быстр, как следствие много-многопоточности
2. ...

Недостатки
1. Дубли урлов-доноров.
2. Дубли выходных проксей
3. Дописывание, а не переписывание выходных файлов
4. Отсутствие ручного чека
5. Отсутствие доступа к начеканным проксям из админки
и главный недостаток
6. Плохое качество чека !!!

Шестой пункт раскрою поподробнее. Вот кусочек лога чекера от Райзора, который перепроверял выходные прокси Сансары. Причём тут должны быть только элитные и анонимные прокси:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Теперь лог перепроверки элитных (high anon) проксей:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Вот такой вот ахтунг.
Я конечно понимаю, что прокси шаровые и никто не обещал что элитный прокси навсегда будет элитным, а анонимный не превратится в прозрачный, но при перепроверке каждые три минуты рабочий скрипт не должен допускать такую погрешность. А чем грозит такая погрешность - каждый додумает для себя.

 

[blackspy]

Ну я бы не стал утверждать, что качество чека хреновое скорее это прокси такие.
Вот если бы ты поделился результатами чека собственных проксей в глюке которых у тебя сомнений нет вот это другое дело.