[Архив] Парсеры

[lexx-odessa]

очень нужен парсер Яндекса, желательно десктопный.
у кого есть - поделитесь, буду признателен.
если выложите - линк с хайдом 5-10 или в приват-месседж пишите.. Заранее спасибо!

Скинул тебе в приват. Сервис он-лайн.

Парсит по заданным кол-вам страниц, и по выбору: адреса, заголовки, сниппеты, и т.д.

Очень удобный сервис и форма выдачи. Во всем устраивает, кроме того, что видимо когда много юзеров одновременно, может быть перегружен. Поэтому ссылка в приват.

Добавлено через 10 минут

так ведь Aggress 1.3 вроде парсит яндекс...

Кстати, спасибо! Ты прав! Я только что это обнаружил! До этого юзал версию 1.2. и даже не знал, что было обновление по той ссылке, что сам же и дал.

В версии 1.2. он Яндекс не парсил. Кстати тот же автор - Дорвей-генератор сделал. Интересно, кто-нибудь его юзал?

 

[docker]

Кстати Aggress можно приспособить к парсингу любого сайта
Создаешь файл с правилами, прописываешь что он должен возвращать - и вперед. Я например приспособил его для автореганья шортурлов на многих сервисах

 

[Rommer]

Кстати Aggress можно приспособить к парсингу любого сайта
Создаешь файл с правилами, прописываешь что он должен возвращать - и вперед. Я например приспособил его для автореганья шортурлов на многих сервисах

а поподробней можно?
пример файла с правилами или что-то в этом роде?

 

[docker]

Вот например файлик search/snipurl.txt

Url-http://snipurl.com/
AbsoluteUrl-http://snipurl.com/?link={REQUEST}
UntilTextAfter-Your snipped url(s):<br><a href='{TEXT}' target='_blank'>
UntilNextLinkAfter-
Pattern-{TEXT}

В список заданий закидываешь урлы, он возвращает шорткаты
Писал давно, может уже выдачу сменили, тестите сами Работает со многими подобными сервисами с доработкой.

 

[El_Magnifico]

Aggress parser - очень удобная штука. попробовал многие - этот самый лучший

 

[Allexl1]

Засрали топик одно и то же по 5 раз выкладывают

 

[Nike59]

Aggress parser - очень удобная штука. попробовал многие - этот самый лучший

Тоже пробовал многие. Был лучший от Маngo. Сейчас мои предпочтения - xKovator с модулем Check Urls. Быстрый и выгребает все. Гибкие настройки. Но, модули подгружаются с серверов автора - защита хороша. Относительные недостатки: всего два - 1) дорого для начинающих, 2) лучше ставить на виндовый сервак или VDS. На локалке, если анлим. Лямы урлов за мин время - тянут много. Хотя трафа на тоже количество напарсенных урлов жрет в 10 раз меньше по сравнению с другими парсерами. Есть режим сжатия. Проц не грузит почти - 8-12%.

Зато это действительно профессиональный инструмент для парсинга. Например, гребет тексты - получаются чистые, без кракозябров. Кто в теме, знает, сколько времени экономит и качество доров увеличивае. Можно также проверять на формы, ноуфоллоу, сотировать по типам. Делать пинг, проверять принадлежность IP и прочее. В общем доволен, что купил.

 

[sklaz3r]

парсер это весчь.
(напр. парсер кеев с Яндекса =))

 

[dantalian]

слишком уж много разных парсеров стало.. (

 

[qwertyu2]

а есть ли hrefer рипнутый?