知乎爬取数据问题

Question

发现爬取知乎的时候，一直在保存答案的数据，一条问题的数据都没有，运行代码的时候也没有报错

请问老师这个应该怎么排查呢

Answer 1

慕工程9236377 2019-05-27 08:06:26

同学请问你抓取answer数据的时候改动老师在zhihu.py里的代码了么，我也没有报错，就是爬虫会自己关闭

Answer 2

bobby 2019-05-10 12:50:45

你可以在解析question的方法中打断点 看看能不能进入这个逻辑，如果能进入那证明确实抓到数据了，有可能是入库失败了，如果进入不了那证明是没有抓到这些数据

• 提问者 简单51799 #1

  parser_question应该是进入了，因为pasre_answer这个请求都是在parse_question yield出去的

• 提问者 简单51799 #2

  我有1个疑问，pipline里都是调用item.save_to_es()这个方法，scrapy可以判断是answer item 还是question item吗

• 提问者 简单51799 #3

  ..不好意思，偶然发现问题了，questioni tem里的save_to_es()这个方法我缩进没缩好，定义到其他方法里去了

点开查看后面1条评论