采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
进入parse函数获取到知乎首页的问题url后交给parse_home函数处理,没进到parse_home函数就结束了,所有的请求都报403,也没有报错信息,是知乎反爬又升级了?
403应该是被反爬了。你看看用账号自己使用浏览器登录看看是否能通过浏览器访问?
用浏览器没问题 selenium也没问题
看了后面的章节 在middlewire里用fake-useragent配置了随机ua就成功了。。啥原因啊
说明知乎开始验证user-agent了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.9k 30
2.6k 18
1.3k 18
1.5k 15
3.0k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号