采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
身在疫区,学习bobby老师的课程。 发现一个不理解的地方,请教一下: 调试时进入不了这个parse_detail的函数。 当然在这之前也设过断点在parse函数里post_url是可以正常获取,没有问题的。 另外在调试parse_detail里的数据的时候是把parse里的断点都去除了的。
如果是这样 你就看看你的pycharm的console中 你yield的request返回的状态码是否是200?
发现:DEBUG: Filtered offsite request to 'news.cnblogs.com': 查到下,加入, dont_filter=True搞定。即: yield Request(url=parse.urljoin(response.url, post_url), meta={"front_image_url": image_url}, callback=self.parse_detail, dont_filter=True)
谢谢你遇到同样的问题,用你的方法解决了。🙏
用了这个方法,还是解决不了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.6k 18
1.2k 18
1.4k 15
2.8k 15