Парсинг через scrapy

bossserg

Создатель
Регистрация
12 Сен 2015
Сообщения
17
Реакции
0
Нужно спарсить сайт с дальнейшем созданием дампа базы данных и загрузки на сайт
Я только начинаю изучать, подскажите как лучше сделать что знает.
Сначала парсил в csv думал сделать в екселе но проблема в том что парситься данные не только текст но и html код а в екселе при открытии html кода ори разлазяться и нет структуры данных.


Вопрос. как мне сохранять спарсенную информацию сразу в формате sql, подскажите может библиотеку с помощью которой это можно сделать.
И если можно очень просто пример.
Спасибо
 
В файле pipelines.py прописал чтоб данные из strana = scrapy.Field() обрабатывались а потом передавались обратно в strana = scrapy.Field()
вот код
Код:
f = list(open(ur'cities.txt','r'))
cities = {}
for i in f:
    cities[i.split(',')[1:2][0]] = i.split(',')[0:1][0]

class RabotaPipeline(object):
    def process_item(self, item, spider):
        global cities
        if item['strana']:
            item['strana'] = cities[item['strana']]
            return item
        else:
            pass       
        return item

Делал по примеру
Для просмотра ссылки Войди или Зарегистрируйся

но код не работает

Подскажите пожалуйста в чем ошибка.
 
Назад
Сверху