爬取拉勾被重定向到登陆界面

Question

我用selenium模拟登陆后，拿着token去请求还是被重定向，求解答

Answer 1

bobby 2018-03-28 16:24:06

你截图我看看你的settings中的cookie设置参数名对不对

• 提问者 qq_CrazyMemory_0 #1

  非常感谢！

Answer 2

不务正业的码农 2018-05-27 03:13:22

我也遇到了同样的问题，重写了start request之后还是不行

Answer 3

bobby 2018-03-26 14:48:51

你是一开始就被重定向了 还是请求了几个之后被重定向的？

• 提问者 qq_CrazyMemory_0 #1

  老师，我自己调试了发现，就第一个请求www.lagou.com的request 200了
  之后全部都是302,而且之后的请求都没有cookie，只有最开始的请求带了cookie
  我的cookie使用selenium拿到的，我的setting里面的cookie_enable也设置了
  是需要重写parse_start_url方法吗
  给最初的请求带上cookie 我是重写的start_request方法