不同的爬虫对图片是否加载有不同的要求

Question

多个爬虫，一个爬虫想要加载图片，一个爬虫不想要加载图片，如何设置，能把middleware中对图片是否加载能放到spider中吗

Answer 1

bobby 2018-09-10 13:01:10

每个爬虫可以独立设置自己的settings 课程中有讲解过这个知识

• 提问者 穆步思 #1

  独立设置settings是settings本身就有的信息，如是否要cookie，但是加载图片是使用chrome+selenium中的，在middleware里面，也可以直接设置在spider中吗

• bobby 回复 提问者 穆步思 #2

  如果是用chrome就不行了，你只有启动多个服务了。因为这个是在selenium启动的时候就设置好了是否需要加载图片了