scrapy redis部署和scrapy的部署有什么不同？

Question

老师，看了你讲了scrapy的部署，但是我想知道像scrapy的分布式部署是否相同？

Answer 1

bobby 2017-06-07 17:33:26

scrapy的分布式部署 比较简单 启动scrapy就行了， 因为scrapy-redis会一直从redis中取数据， 如果redis队列空 会一直等待数据的

• 慕姐0186508 #1

  老师。scrapy-redis抓取知乎这样需要携带headers这样的网站怎么解决呢 都不知道怎么办了。项目中需要

• bobby 回复 慕姐0186508 #2

  直接在yield request的之后在request里面添加headers参数啊， https://doc.scrapy.org/en/latest/topics/request-response.html