问:请问怎么样才能将使将爬取到的数据写入到数据库中?
问题描述:我使用的scrapy是最新的版本,视频代码中的
from scrapy.loader import ItemLoader
不适用了,改为了import itemloaders这个库,在此基础上对parse_question和parse_answer两个方法中的item_loader和answer_item的初始化进行了更改,改为了
item_loader = itemloaders(item=ZhihuQuestionItem(), response=response)
以及
answer_item = itemloaders(item=ZhihuAnserItem, response=response)
现在爬虫可以正常运行,但是数据无法保存到数据库中。
运行环境:
windows10
python3.8.5
scrapy 2.4.1
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
了解课程