请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

老师我debug一直重复这yield一条,进不去parse_nums

图片描述图片描述老师我debug一直重复这yield一条,进不去parse_nums

正在回答

1回答

bobby 2020-03-11 19:16:02

cnblogs因为要几个请求才能完成一个item,但是在每个item的最后一个url请求完成以前。scrapy会大量的yield很多新闻的url出去。所以parse_nums被拍到后面去了,你可以只在parse中yield一个request出去就方便调试了

0 回复 有任何疑惑可以回复我~
  • 提问者 超帅侠 #1
    老师按照你说的我调试成功了,那如果我想要多个新闻是不是就放在那边不用管他让他一直爬取就行?
    回复 有任何疑惑可以回复我~ 2020-03-11 19:26:20
  • bobby 回复 提问者 超帅侠 #2
    是的, 但是有可能你会发现一只没有入库,但是你要知道 不是没有抓取到也不是有错 而是排队处理中
    回复 有任何疑惑可以回复我~ 2020-03-11 19:31:14
  • 提问者 超帅侠 回复 bobby #3
    哦哦哦,谢谢老师
    回复 有任何疑惑可以回复我~ 2020-03-11 19:54:18
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信