将selenium集成到scrapy后，爬取cnblogs下载图片报错了。集成后怎么解决图片下载问题呢？

Question

在imagepipeline 中解决吗？

Answer 1

bobby 2020-02-10 18:34:46

是所有的图片都下载失败 还是只有个别 这个url的图片 你有没有试过通过浏览器是否能打开？

• 提问者 楚人长铗 #1

  所有的都失败，因为集成后JSPageMiddleware里把下载逻辑和流程变了，而middleware里没处理图片下载

• 提问者 楚人长铗 #2

  伯乐在线的例子没有图片下载的问题

• bobby 回复 提问者 楚人长铗 #3

  JSPageMiddleware可以区别开来，如果遇到cnblogs的情况就不应该使用这个组件：1. 通过url区别开来 2. 不同的爬虫自定义配置文件，这个课程中后面会讲解