Информация Как сделать парсер.. Сейчас научу!

[m0tti]

Вопрос:как изменить время кэширования?А то кэш не обновляется, а выключать не очень хочеться
И ещё:как сделать вставку данного мода в шаблон, например {parser}?

Не решил вопрос с {parser}

 

[MSW]

на основе этих данных и примеров из других парсеров сделал вот такой свой, может кому будет полезен, так как на его основе можно делать различные парсеры совершенно различной информации!
парсер раз в сутки стягивает афишу кинотеатртов для Николаева, а мне собственно для других городов и не нужно
особенности:
- обращается к удалённому контенту только раз в сутки, тем самым экономя трафик и особо себя не выдавая на сервесе откуда качаем инфу
- если никто не обратиться за инфой на нашу страничку - то она и не будет стянута - ведь если никому из посетителей эта инфа сейчас не нужна - то зачем стягивать её? просто для галочки? лишний раз опять таки напрягать канал и трафик))

Создаём файл: /engine/modules/afisha.php

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Файл шаблона: afisha.tpl

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

подключать просто:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

в итоге получаем:

​

в живую смотрим тут:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[m0tti]

- если никто не обратиться за инфой на нашу страничку - то она и не будет стянута - ведь если никому из посетителей эта инфа сейчас не нужна - то зачем стягивать её? просто для галочки?

А как быть если инфа сграбленная нужна для поискового трафа?

 

[MSW]

А как быть если инфа сграбленная нужна для поискового трафа?

тогда по крону нужно ставить обращение по адресу: хттп://адрес.сайта/afisha.html
например, на время: 00:01

хотя... по-идее же, если поисковик обратиться по этому адресу, то скрипт всёравно выполнится и обновит все данные. так что всё будет норма.
данные не обновятся если к ним нет запроса на показ. а там уже всёравно кто обращается - пользователь или бот поисковика, или сторонний скрипт, например такойже самый который будет тянуть ту инфу которую ты себе стянул с другого сайта))))

 

[Burunduk1982]

а можете граббер из первого поста переделать чуть, чтобы при запуске скрипта, спарсенные данные добавлялись в мускуль (например парсер валют или погоды. При каждом запуске скрипта, по крону например, данные в базе обновляются или добавляются с новым id)?

 

[MSW]

а можете граббер из первого поста переделать чуть, чтобы при запуске скрипта, спарсенные данные добавлялись в мускуль (например парсер валют или погоды. При каждом запуске скрипта, по крону например, данные в базе обновляются или добавляются с новым id)?

а смысл?
БД итак нагружена дальше некуда... лучше в кеш записывать и с него выводить...

ну а если есть таковое желание то и в БД не проблема занисать - нужно те строки что пишут в кеш - заменить на запрос в БД

 

[Burunduk1982]

а смысл?
БД итак нагружена дальше некуда... лучше в кеш записывать и с него выводить...
ну а если есть таковое желание то и в БД не проблема занисать - нужно те строки что пишут в кеш - заменить на запрос в БД

смысл собственно в том, чтобы граббер можно было подсуетить не только в ДЛЕ (т.е. мне нужен простой и универсальный граббер, как в первом посте, но который будет заносить в базу данные при каждом запуске скрипта, в расчете на кронтаб). Саму логику процесса я представляю, но в пхп я практически нуп, потому, если есть у кого-то такая возможность, сделайте плиз

 

[MSW]

Burunduk1982,
тогда напиши пример хоть одного запроса как у тебя в БД идёт? так как каждый скрипт может своими какими то классами работать с БД.

под ДЛЕ это будет выглядеть примерно так:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

это так, на скорую руку набросанное и требует "обработки напильником"
в частности можно ещё добавить сюда айди категории, если планируется использовать несколько парсеров различной инфы, также проверку и "обеззараживание" записываемых данных, ну и чистку старых данных.

 

[MSW]

Простой парсер информеров, на примере валютного информера

Для простоты описываю метод для ДЛЕ 8.2

инфа будет обновляться каждый час, для большей информативности

многие сайты предлагают разместить их информер в виде картинки, но для локальных сайтов будет удобно если эта картинка будет загружена на сервер и уже с сервера будет производится её показ.
Для этого выбираем сам информер который нам нужен, покажу на примере курса валют с сайта:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

там есть такая штука как Экспорт > Валютный стикер
Для облегчения поиска прямая ссылка на это дело:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

тут мы выбираем валюту которая нас интересует, например я выбрал доллар, евро и рус рубль, и получаем код ка каждый из этих стикеров, но с кода нам нужна только ссылка, например для доллара полученный код:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

из него берём только ссылку img src=...
то-есть получаем:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и так для всех остальных нужных валют.

после создаём файл: /engine/modules/finans.php с содержимым:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и папку: /engine/cache/money/ - с правами 777

ну и подключаем этот файл в шаблон, в месте где желаем выводить инфу.

у меня это выглядит так:

​

 

[m0tti]

А как быть если кодировки несовпадают?
У меня исходник UTF-8 а дле на 1251?