采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
如果不是id主键冲突重复问题,我需要检查name字段的重复,如果name字段有重复值,则更新或不插入。又或者检查两个字段的重复性。这是不是得改写pipelines里的 process_item方法,先字段检查,再插入或更新?
你可以直接 从数据库中查询 如果查询不到 直接插入 如果查询到 然后将已有的值和你现在的值 比对生成最终的需要插入的值 最后直接做所有字段的更新
这样是不是就得写个定制化的Pipline,因为部分查询重复更新逻辑只有写在Pipline的process_item里,而不能像你写的在runInteraction里do_insert,get_insert_sql,这样可扩展的就不能这么写了?
课程中会讲解 可以直接通过sql语句完成 如果存在则更新 直接用sql语句就能完成
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.9k 30
2.6k 18
1.2k 18
1.5k 15
3.0k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号