Парсинг страниц с JavaScript

[pk2002]

Подскажите, плиз, можно ли каким-то образом в скриптах обрабатывать клиентский жабаскрипт.

Т.е. при выполнении пользователем в браузере определенных действий, кликов и т.п. вызываются соответствующие функции и меняется контент. Нужно в парсере эмулировать эти нажатия и получать контент.

Интересуют решения для перла, пхп

 

[Nafania]

Если я правильно понял тему, то то что вам надо это AJAX, а точнее вот эта реализация Для просмотра ссылки Войди или Зарегистрируйся

 

[pk2002]

Если я правильно понял тему, то то что вам надо это AJAX, а точнее вот эта реализация Для просмотра ссылки Войди или Зарегистрируйся

Неправильно поняли
Мне нужно для парсера прикрутить обработку жаваскриптов. Т.е. парсятся страницы с яваскриптами, вот их и нужно обрабатывать. Вернее контент после выполнения яваскриптов. Вот как их выполнить в парсере и получить результат не знаю.

P.S. Что такое AJAX я знаю

 

[Nafania]

А, понял вас.
Так этого даже гугл не умеет делать с его поисковыми ботами
ИМХО, это нереально - написать браузер с полноценной поддержкой ява-скрипта на пхп/перл.

 

[pk2002]

Ну есть варианты с использованием браузеров например Firefox, IE.
Может есть какой-то текстовый браузер с поддержкой яваскриптов, чтоб его прикрутить к этому делу
Больше под линух интересует

 

[Nafania]

Каким образом вы будете использовать визуальный браузер?
Ну допустим вы через него откроете страницу, нужную вам, и выполните какой-то скрипт. Как вы узнаете результат выполнения?
Никак - ведь он будет только в окне браузера.
Текстовые браузеры существуют в природе, названий так с ходу не вспомню, просто знаю что они есть, но меня берут большие сомнения насчет того, что они полноценно понимают ява-скрипт (да и понимают ли вообще? ).

 

[pk2002]

Насчет браузеров - есть Selenium и для перла модуль WWW::Selenium
Он позволяет получать результат выполнения

Вот текстовых браузеров с полноценной поддержкой жаваскрипт тоже не нашел. У тех что есть (links, elinks), к сожалению ограниченная поддержка js

Есть еще Spidermonkey (Для просмотра ссылки Войди или Зарегистрируйся, мож его как-то можно прикрутить.

 

[spacer123]

Большинство действия напрямую будет завязано с браузером и их выполнение будет невозможно в контексте парсера.
Думаю нужно писать свой мини-интерпретатор js для конкретных ситуаций.

 

[Jameson]

Кстати, уже есть альфа-прототип интерпретатора JS для php: Для просмотра ссылки Войди или Зарегистрируйся

 

[pk2002]

Большинство действия напрямую будет завязано с браузером и их выполнение будет невозможно в контексте парсера.
Думаю нужно писать свой мини-интерпретатор js для конкретных ситуаций.

Selenium как раз является примером связки браузеров с внешним кодом. Не устраивает тяжеловесность неконсольных браузеров, с которыми может работать эта система. Может есть какие-то похожие альтернативы данного продукта
Понятно, что для конкретных случаев можно выкрутиться в зависимости от ситуации. Просто ищу универсальное решение, применимое в большинстве случаев.
Поиски консольного браузера с полноценной поддержкой жаваскрипт увы не увенчались успехом