на серче сейчас продается тема за 10 тыс руб., там есть этот скрипт. скрипт фиговый, если на сайте есть флеш или ява - то получается фигня какая-то (что-то не отображается, дизайн перекашивается).
всем тегам сделать заливку заднего фона, потом скриншот страницы => самые большие области - это и есть текст.
не самая удачная идея. Причём здесь текст и объём области? у многих сайтов будут страницы где шапка и пустые слои будут занимать больше чем слои с текстом. Я не говорю что сам текст может быть на разных слоях.
В принципе, тема эта появилась давно и скрипты никак не изменились принципиально. Просто нужно ещё дополнительно парсить текст, сграбленный. А это очень сложно- предусмотреть все возможные варианты. Тут проблема немного в другом- парсить можно только либо в полуручном варианте либо для околодорвейных сайтов. А то получается хоть и осмысленные но вырванные куски текста.
ложные срабатывания можно свести к минимуму: изображения не показывать, пустые слои проверять на наличие текста, чтобы не было больших пустых слоев, это же не сложно.
Скорее мечтал.... нереально перетащить любую структуру....
Да, на самом деле это извращение. Медленно и самая технология- мутная, там другие вещи важны, а не просто определить слой с текстом.
А что мы делаем когда нельзя указать всевозможные структуры явно? Верно! Идём в нейронные сети и в остальные технологии распознавания) Но тут будут другие проблемы и вопросы, намного сложнее чем тупо найти слой с контентом.
понятно, что очень важный параметр - это скорость парсинга.
Именно так и есть и все для того что бы определить эти структуры.
Обратно же возвращаемся к привязному шаблонному парсингу, не так ли? или вы так не считаете?
не совсем. границы определяются по алгоритму, а не вручную. Просто смысл в рамках одного сайта определять границы парсинга по сложному алгоритму?
Время друг, мой время, работа по четкой маске значительно сокращяет время обработки как не крути но придеться базироваться на каких то шаблонах.