RSS/HTML граббер 1.0 для Livestreet

[Энштейн]

[FONT=&quot]Зачем мне это?[/FONT][FONT=&quot]
Все больше и больше требуется информации для современного сайта. Частые обновления позволяют повысить отыскиваемость сайта в поисковиках и, следовательно, поднять посещаемость.
Но что делать, если хочется, чтобы сайт сам наполнялся контентом?
Можно поставить хитрый движок и нанять человека для того, чтобы он писал статьи на сайт.
Можно поставить особый модуль, который будет периодически наполнять ваш сайт информацией.
А что делать, если у вас уже есть работающий сайт на [/FONT][FONT=&quot]CMS[/FONT][FONT=&quot]Для просмотра ссылки Войди или Зарегистрируйся, который не хотелось бы сильно менять, но свеженького контента хочется?

Что такое RSS/HTML граббер?
Модуль для CMS Для просмотра ссылки Войди или Зарегистрируйся, собирающий контент с различных RSS-лент и тем самым, привлекающий на сайт большое количество посетителей с поисковых систем.
Каждая страница такого сайта отлично индексируется поисковыми системами.
Ежечасное обновление информации на сайте делает его любимчиком поисковиков, и их боты постоянно бороздят его страницы. Такая любовь поисковиков к сайту выливается в тысячи посетителей на страницы этого сайта.
Такой сайт можно использовать для продажи рекламных мест, тут можно размещать контекстную рекламу AdSence, рекламировать свои коммерческие проекты.
Тестовые сайты показывают посещаемость более 2000 посетителей в сутки в первые 3-4 месяца работы сайта.

Основные возможности граббера:[/FONT]

1. [FONT=&quot]Поддержка RSS 1 & 2, ATOM лент.[/FONT]
2. [FONT=&quot]Задание интервала обновления и максимального количества импортируемых сообщений в ленте.[/FONT]
3. [FONT=&quot]Выбор блога и автора публикаций для импортируемых сообщений.[/FONT]
4. [FONT=&quot]Задание маски для поиска и импорта полного текста из [/FONT][FONT=&quot]HTML[/FONT][FONT=&quot]страницы с помощью тегов [[get]] & [[set]].[/FONT]
5. [FONT=&quot]Задание допустимых HTML тегов.[/FONT]
6. [FONT=&quot]Указание принудительного вывода на главную и возможность комментирования новых топиков.[/FONT]
7. [FONT=&quot]Импортирование даты ленты или указание текущей даты новых топиков.[/FONT]
8. [FONT=&quot]Импортирование изображений на сервер[/FONT][FONT=&quot].[/FONT]
9. [FONT=&quot]Синонимайзер с базой 1 300 000 слов. (Рекомендуется использовать если у вас VDS или VPS или вашему хостинг-провайдеру пофиг на небольшую нагрузку и расход 256+ виртуальной памяти)[/FONT]
10. [FONT=&quot]Предварительная ajax проверка ленты перед добавлением[/FONT][FONT=&quot] (Рекомендуется использовать для проверки правильности составления маски поиска полного текста топика).[/FONT]
11. [FONT=&quot]Управление лентами (Создание/Редактирование/Удаление).[/FONT]
12. [FONT=&quot]Ручное или автоматическое обновление каждой ленты или всех лент (ручное - ручками, автоматическое - кроном =))[/FONT]
13. [FONT=&quot]Автоматическая генерация тегов на основе всего содержимого топика[/FONT]
14. [FONT=&quot]Работа с кодировками [/FONT][FONT=&quot]WINDOWS[/FONT][FONT=&quot]-1251, [/FONT][FONT=&quot]KOI[/FONT][FONT=&quot]8-[/FONT][FONT=&quot]R[/FONT][FONT=&quot], [/FONT][FONT=&quot]ISO[/FONT][FONT=&quot]-8859-5, UTF-8.[/FONT]
15. [FONT=&quot]Возможность легкого перевода интерфейса на другой язык.[/FONT]

[FONT=&quot]Системные требования сервера[/FONT][FONT=&quot]:[/FONT]

• [FONT=&quot]PHP 5.х+[/FONT]
• [FONT=&quot]MySQL 4+[/FONT]
• [FONT=&quot]PHP библиотеки xml, mb[/FONT]

[FONT=&quot]Необходимые настройки PHP[/FONT][FONT=&quot]:[/FONT]

• [FONT=&quot]safe_mode is off[/FONT]
• [FONT=&quot]allow_url_fopen is on[/FONT]

[FONT=&quot]Стоимость этого удовольствия[/FONT][FONT=&quot]:
3 500 руб → *3 000 руб
* - новогодняя акция продлится до 25 декабря 2009 года включительно.

Контакты:
mail: alexey[dog]donin.biz
icq: четыре-два-ноль-шесть-ноль-шесть

Демо:[/FONT]

Для просмотра ссылки Войди или Зарегистрируйся
Необходимо авторизироваться: login:admin pass:admin
Далее зайти на страницу: Для просмотра ссылки Войди или Зарегистрируйся
Поставил обновление кроном каждые 3 часа.

[FONT=&quot]

В честь нового года первым 10 покупателям будет осуществлена бесплатная установка и настройка модуля, а также добавление и настройка любых 3 лент на выбор =)[/FONT]

 

[tigraz_kill]

Слишком тяжеловато делать саттелиты на ЛС )) Но всёравно спасибо! Я подумаю.

И по делу . Демо в студию. только демо..

 

[Энштейн]

окей, завтра вечером организую.

 

[Bravo-IP]

Есть такая же вещь для Livestreet и она бесплатна пол года назад ставил себе.

В чем смысл тырить контент с других сайтов причем таким образом, нет никакой эксклюзивности, ничего.

Ресурс должен обладать своей базой данных, а не чей то.

 

[Энштейн]

Есть такая же вещь для Livestreet и она бесплатна пол года назад ставил себе.

Есть бесплатный модуль ImportRSS.
Его минусы:
- Импортирует только содержимое RSS ленты, т.е. не переходит по ссылке и не грабит кусок HTML кода.
- Создает Блог ImportRSS и публикует всё туда (автор при этом тоже ImportRSS).
- Не импортирует изображения.
- Нет синонимайзера.
- Не генерирует теги
- Создает не топик, а топик-ссылку.

ну и еще много минусов...
Автор просто тренировался в написании плагинов и выложил его в качестве примера.

Этот модуль абсолютно другой.

В чем смысл тырить контент с других сайтов причем таким образом, нет никакой эксклюзивности, ничего.

Эксклюзивность достигается с помощью синонимайзера.

Ресурс должен обладать своей базой данных, а не чей то.

Все импортированные топики сохраняются в базу данных Livestreet и становятся "родными" для него.

 

[Энштейн]

Обновление до версии 1.1

Граббер обновлен до версии 1.1

Нововедения:

1. Новый алгоритм генерации тегов с русской морфологией.
2. Улучшен алгоритм импортирования изображений.
3. Произведена частичная оптимизация и исправлены недочеты.

Демо обновлено

 

[abrik0s]

не

3000 рублей, за ГС на лайв стрит? Вы что, шутите)))D

 

[Энштейн]

Почему сразу генератор сателлитов? Можно иметь обычный среднестатистический сайт и в некоторые блоги просто грабить по 1-2 новостей в сутки, дабы освежить хоть как-то сайт и позволить юзерам пообсуждать, к примеру, последние новости или анектоды и т.д.

 

[Энштейн]

Граббер обновлен до версии 1.2

Новое:

1. Новый алгоритм синонимизации. Синонимизация на основе русскоязычных лемм. Засчет этого функциональность улучшена и база уменьшена.
2. Заметно увеличина производительность!
3. Демо обновлено! Теперь все ленты синонимизируются.

P.S. Осталось создать новую базу под новый синонимайзер...

 

[tigraz_kill]

Вышла 0.4 LIvestreet . Как обстоят дела с граббером?