[FreeWare] Простой загружатор картинок

[recasher2k12]

Простой скрипт загрузки картинок по ссылкам.

Требует установленные Для просмотра ссылки Войди или Зарегистрируйся и Для просмотра ссылки Войди или Зарегистрируйся
Работает на всех виндо-совместимых и серверных ОС.

Инструкция к применению:
1) Скачать архив;
2) Поместить список ссылок в images.txt, отчистить папку /images (если не пустая);
3) Запустить скрипт командой

node img-loader

либо на винде двойным кликом мыши по run.bat;
4) По окончанию работы вытащить из папки /images прогруженные картинки.

Что делает скрипт?
Загружает картинку с параметрами клиента (браузера) :
Referer = url заглавной страницы откуда качаем картинку
User-Agent = UA Яндекс-бота
Timeout = 10 секунд
После загрузки картинки пытается получить разрешение картинки, чтобы отсеять не картинки.

Минусы - работает в один поток.

Скрипт до боли простой, готов к любым переделкам, готов к внедрению в ваш автоматизированный процесс создания сайтов.

 

[3xmaster]

2) Поместить список ссылок в images.txt, отчистить папку /images (если не пустая);

Т.е. как я понимаю - УЖЕ должны имется прямые урлы?

Если да, то зачем велосипед, если под винду любая современная качалка умеет скачивать по спискам. Тем более все они многопоточные. И с нормальными фейсами и оповещалками и вообще удобней..

 

[recasher2k12]

Т.е. как я понимаю - УЖЕ должны имется прямые урлы?

Если да, то зачем велосипед, если под винду любая современная качалка умеет скачивать по спискам. Тем более все они многопоточные. И с нормальными фейсами и оповещалками и вообще удобней..

Ну вот, например, мне фэйс не нужен в пользу автоматизации. Мне проще запланировать скрипт в cron, чем тыкать мышью. Мне интереснее смотреть за нулевым размером файла errors.log, чем смотреть на красивые progressbar'ы на рабочем столе.

Много потоков тоже не обязательно в пользу стабильности (скачать в несколько потоков - фигня, основные утечки будут при анализе картинок - на доли секунд imagemagick полностью грузит ядро процессора). Анализ длится дольше скачивания. Два потока в одном процессе не ускорят этот процесс, а скорее затормозят.

Если быть более конкретным, то прогружатор картинок мне нужен лишь между моим автоматически запускаемым круглосуточным парсером-генератором на сервере и автоматически запускаемым по расписанию заливатором постов в Wordpress.

Из напарсенных urlов выживают (скачиваются) только 70%-80% картинок. У заливатора нет доступа к парсеру в случае если картинки не оказалось по url. Также заливатор увеличивает разрешение картинки, повышает параметр quality у JPG, накладывает фильтры и сглаживание в целях уникализации, проставляет параметры width=".." и height=".." у <img /> в содержании поста - важно чтобы картинка не только грузилась по url, но и была валидной для авто-изменения. После анализа выживают только 25%-30% картинок.

Скрипт простой (всего 70 строк) и легко модифицируется. при добавлении/изменении 5-10 строк скрипт будет брать urlы не из файла, а из БД; сохранять результаты анализа картинки в БД, проверять картинку на повторы если, например, попалось совпадение sha-хэша файла картинки и его размер в байтах.