采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
boddy老师,很急很急,就是我用您的源代码,拉勾爬取职位信息,这里我调试输出的职位详情页urls为空,然后报错是这样子的,ip代理我用的是付费的ip代理。 是能进去职位列表页面,返回200. 但进不去职位详情页,获取职位详情页的url列表为空,我在网站前端html里找不到url,估计是动态加载的,那这种情况我要怎么获取到职位详情页的url阿
拉勾网反爬很变态, 是动态的cookie最好是使用selenium抓取
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.7k 30
2.5k 18
1.1k 18
1.3k 15
2.7k 15