采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
进入parse函数获取到知乎首页的问题url后交给parse_home函数处理,没进到parse_home函数就结束了,所有的请求都报403,也没有报错信息,是知乎反爬又升级了?
403应该是被反爬了。你看看用账号自己使用浏览器登录看看是否能通过浏览器访问?
用浏览器没问题 selenium也没问题
看了后面的章节 在middlewire里用fake-useragent配置了随机ua就成功了。。啥原因啊
说明知乎开始验证user-agent了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15