采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
这里访问,刚开始就出现302,然后再运行一段时间后又200及302交替出现。出现200页面后,并不能提取有效数据。已经设置随机ua、cookies_enable=false、请求限速即DOWNLOAD_DELAY=10。还请老师帮忙解决,非常感谢!!!
拉勾网目前采用了非常变态的动态cookie机制 我还在排查中
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15