crawl spider 修改header

Question

 rules = (
        Rule(LinkExtractor(allow=r'firm'), callback='parse_item', process_links='parse_link'),

老师您好，crawl spider类的爬虫，能不能只修改parse_item对应的header？修改def _requests_to_follow(self, response)函数好像对所有请求的header修改了，不能满足需求。

Answer 1

bobby 2018-04-28 15:57:51

我不太明白你的需求 值修改parse_item的header是什么意思呢 能举个例吗？

• 提问者 慕丝8011162 #1

  rules = (
          Rule(LinkExtractor(allow=r'firm'), callback='parse_item', process_links='parse_link'),
          Rule(LinkExtractor(allow=r'industry'), follow=True),
      )
  
  比如这种，如果没有callback，它默认有一个回调函数，这时有一个header；但是如果有了callback，让它执行我们指定的回调函数，这时我们怎么修改header和cookie？不能影响那种没有callback情况的下的header。

• bobby 回复 提问者 慕丝8011162 #2

  课程后面我会讲scrapy的组件开发 用组件去完成

• 提问者 慕丝8011162 #3

  非常感谢！