采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师我debug一直重复这yield一条,进不去parse_nums
cnblogs因为要几个请求才能完成一个item,但是在每个item的最后一个url请求完成以前。scrapy会大量的yield很多新闻的url出去。所以parse_nums被拍到后面去了,你可以只在parse中yield一个request出去就方便调试了
老师按照你说的我调试成功了,那如果我想要多个新闻是不是就放在那边不用管他让他一直爬取就行?
是的, 但是有可能你会发现一只没有入库,但是你要知道 不是没有抓取到也不是有错 而是排队处理中
哦哦哦,谢谢老师
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.7k 30
2.5k 18
1.1k 18
1.3k 15
2.7k 15