[хак] синонимы для RSS grabber 2.2

[MaxLord]

походу чел не это имел ввиду - я сказал что буду использовать не граббер 2 0, а весч от Achilless всё равно наработки в уникализации можно будет использовать и там и там =)

 

[domeni]

Achilless

подскажи плиз где его взять, я что-то не омгу найти... уже 40 мин. ищу

 

[MaxLord]

думаю тебе рановату - брать тут надо

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

но для скачки надо 165 сообщений. раздавать запретили.

 

[MaxLord]

итак ура - я закончил со всем и приступил непосредственно к синонимизации... хм, первое что бросилось в глаза (работаю именно с граббером от Achilless) - тоесть функция замены стандартная от самого дле, это даёт ряд преимуществ - там уже есть начало #замены

$repl = $db->query("SELECT * FROM ".PREFIX."_rss_replace WHERE rss_id={$rss['id']}");
while ($row2=$db->get_row($repl))
{
$replFrom=$row2['from'];
$replTo=$row2['to'];
$short_story = str_replace($replFrom,$replTo,$short_story);
$full_story = str_replace($replFrom,$replTo,$full_story);

}

- уже в самом скрипте есть начало - он берёт значения (из бд - таблица dle_rss_replace)- что менять, чем и меняет непосредственно перед вставкой новости... вот так вот =) Теперь будем шагать от этого... Что можно сделать? а вот что!

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Ы) кто не хочет врубаться - просто замените то что в первой цитате на мою переделку - теперь всё что надо есть - в базу вбиваете слово и синонимы через запятую - произвольное количество (0;inf) вот так. Небольшой алгоритмик делит строку с синонимами по ',' тоесть каждое слово отделённое запятой будет считаться отдельным синонимом - например 'ночь,улица,фанарь и аптека,колобок' и т.д. Насколько я помню - слово и синонимы можно вбивать прямо из админки дле через модуль замены слов... он вроде называется фильтр плохих слов хе хе =) ... ещё один момент - можно сделать вот так

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

- в данном случае синонимы будут различны (а могут и не меняться) в краткой и полной новости - тоесть массив с полученными синонимами перемешивается два раза - перед вставкой в полную новость и перед вставкой в короткую новость... вуаля =) думаю Это максимум синонимизации... осталось только распарсить побольше синонимов, да и самим собрать базку... Хм, а что скажут модеры - я хочу создать тему - 'уникализация контента с грабберов' ? а то эта тема уже выходит за свои рамки - помимо синонимизации хочу поднять множество других вышеперечисленных вопросов...

 

[$aSH]

не совсем верно.

нужно держать базу синонимов по словам. типа

1) тест1, тест2, тест3, тест4, тест5
2) qwe1, qwe2, qwe3, qwe4, qwe5
3) zxc1, zxc2, zxc3, zxc4, zxc5

и если слово попадает в один из массивов, из него и выбирается синоним.
иначе шанс попасть в конкретное слово будет мал

 

[MaxLord]

хм... а ты не думал какая при этом будет нагрузка?... Хотя конечно справедливо но думаю всёже стоит шагать от нагрузки... допустим думак - мороз, но не мороз - дубак - как тебе Дед Дубак? или например невысокий - низкий, маленький но например маленький секрет - никак не невысокй секрет , верно? ладно я щас пишу отдельный модуль уникализации для использования алгоритма сразу на неограниченном количестве дивжков (что это даёт? Это даёт единую базу, единый алгоритм, единое управление) - там сделаю скрипт добавления синонимов и поставлю галочку на взаимозаменяемость, токо данные в этом случае будут храниться в файле - т.к. иначе придётся юзать два подключения к mysql (база ведь одна на всех - тоесть она отдельно от баз порталов, которые будут юзать скрипт уникализации...)...

 

[MaxLord]

нужны тематические словари - проще каждому сделать свой - смысла нет по общему перебирать узко направленные тексты - прогнать сначало как я посоветовал на частотность слов свои проекты, и сразу увидите что смысла нет в огромных словарях...

 

[Daywalker]

скажите пожалуйста граббер от Achilless чем лучше?:bc:

 

[MaxLord]

он работает самым нормальным способом т.к. это просто доработка на уже существующий граббер от самого DLE - просто сделана автоматизация, если тебе не нуно качать картинки на хост, то по всем функциям этот граббер сильно обгоняет аналоги.... ну во всяком случае не глючит нифига... если ещё немного раскинуть мозгами и написать самому вырез всех ссылок, не содержащих depositfiles rapidshare и т.п. то это уже вообще классная штука... во всяком случае в ней видно что она руками сделана... вот...

 

[pilot233]

он работает самым нормальным способом т.к. это просто доработка на уже существующий граббер от самого DLE - просто сделана автоматизация, если тебе не нуно качать картинки на хост, то по всем функциям этот граббер сильно обгоняет аналоги.... ну во всяком случае не глючит нифига... если ещё немного раскинуть мозгами и написать самому вырез всех ссылок, не содержащих depositfiles rapidshare и т.п. то это уже вообще классная штука... во всяком случае в ней видно что она руками сделана... вот...

Подскажи, почему автоматом у меня не работает (крон на серваке пашет Grabber DLE 22 пашет). Там я видел в таблицах которые надо добавить текс который писал автор, но у меня его нигде невидно. Т.е как он цепляется к стандартному грабберу (из-за этого соотвественно и по крону не работает) и соотвественно не видит его. Что делать?