采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
既然是池,表示里面有大量的cookie,但是如果是抓取淘宝一类的网站,只用一个账号,可能随时会被封,那么如果需要多个cookie,是否就需要注册多个账号,这无形中增加了很多难度,请老师解答下
是的,如果是账号限制 那没有办法,你只有注册多个账号。所以很多大型系统为了解决这个问题会开发一套自己的养殖账号系统。这个系统会解决自动注册账号 并定期维护这个账号防止被官方识别,而且还会配合买账号之类的操作
非常感谢!
我的QQ: 1285580360
补充问题:
在cookie池建立多个线程连接时,检测cookie和验证cookie都需要打开一个chrome,我找了下资料,可以在chrome参数中添加headless这个无头参数,解决了不打开的问题,但是这里有个疑惑,如果不开大遇到真的输入中文验证或者英文验证码的时候,真的可以输入吗,我根本什么都看不到,但我测试了好几次,都失败了
刚开始成功登陆后把cookie保存在redis里面,我就让server不间断监听,然后运行了zhihu_cookie_pool这文件,从redis中随机拿出一个cookie,理论上来说cookie肯定是有效的,但是,每次都会直接显示302,然后parse里面返回的是登陆界面, 并不是首页,这里确实不知道该如何修改了
chrome的headless模式确实面临这个问题 你看不到 所以无法知道具体的错误原因等。,所以对于一些简单的情况可以使用headless模式。如果复杂的那么最好使用windows这种可控的场景
如果拿到的是302那么就有可能是cookie失效了。要注意:不同的网站你某一个账号第二登录 可能会将你之前这个正好的cookie给失效掉
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15