通过downloadmiddleware随机更换user-agent
老师可以把之前的middleware部分代码补完吗，毕竟想学的是scrapy框架，使用别人的fake-agent还是有点太傻瓜式了，或者老师能不能贴一个相关的学习网址
662
收起
正在回答 回答被采纳积分+3
1回答
bobby
2019-03-10 12:36:30
相似问题
自己写的基础爬虫，能爬到数据，用 scrapy 框架则爬不到数据
1083
0
3
老师，用这个库反而403了，是不是没用了
1332
0
5
知乎检测浏览器版本太低 是User-Agent 引起的吗
748
0
1
登录后可查看更多问答，登录/注册
Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课
- 参与学习 5795 人
- 解答问题 6290 个
带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎
了解课程
