拉勾网，使用browser.get_cookies()不能获取完整的cookie

Question

反复试了多次，使用browser.get_cookies()取到的cookie只有17对键值对，爬取拉勾页面的时候获取不到数据，只能显示“加载中”。

自动获取的cookie如下，只有17行。

而我在手动登录拉勾网之后，按【F12】-【Network】手动复制粘贴整理出来的cookie有27对键值对，把cookie复制到函数start_requests( )里面之后，可以正常抓取页面。

手动复制粘贴的cookie有27行（这里显示不全）：

有没有好的自动获取cookie的方案呢？还是我获取cookie的方法不对？

Answer 1

bobby 2021-03-02 23:20:31

复制出来的27个cookie值 可以放入到请求中使用吗？

• 提问者 慕粉3883702 #1

  复制出来的27个cookie值，是可以放到请求中使用的。不过非常麻烦，因为刚复制出来的时候是一长串字符，要手动调成键值对，很费事呢。

• bobby 回复 提问者 慕粉3883702 #2

  你的意思是 手动复制出来的是可以放在requests中访问的？但是模拟登录之后的cookie无法放到requests中访问？

• Polly的遮阳伞 回复 提问者 慕粉3883702 #3

  请问问题解决了吗？遇到类似的问题

点开查看后面4条评论