采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师,之前课程中,有在middle里面设置了随机更换user agent和IP的代码,这样意思就是只要在这个框架内的所有spider 每次访问的时候,都会随机给一个IP和user agent是吗?还是需要怎么样给他启动起来呢 如果需要配置别的话user agent其余的我应该存在哪里呢
这里如果通过middlware配置的话 默认是每个request和response都要走这个逻辑
好的,然后,老师关于IP代理,middlewa 里面设置好了之后,需要在settings里面 Downloader_middlewa 这里面 需要把IP那个写进去吗
为什么要把ip写进去呢 ip的逻辑不是在middleware中自己自己获取码
呃呃,这样啊,我之前以为在midw中配置的,都需要在settings里面 dow里面写进去
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
5.5k 30
2.9k 18
1.6k 18
1.8k 15
3.4k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号