请稍等 ...

老师，请问代理池怎么优化

面试题，问怎么优化ip代理池

慕粉3427824 2017-12-21 18:44:45

源自：8-6 scrapy实现ip代理池 - 1

882

收起

提交取消

2回答

提问者慕粉3427824 2017-12-22 17:44:24

奥，就是去面试被问到的，如果是查询慢该怎么优化

0 回复有任何疑惑可以回复我~

bobby 2017-12-22 16:35:54

这个问题太宽泛了没有说到底要优化什么问题？是ip代理池经常不能用还是ip代理池数量太大取数据慢了？这个问题一上来就说优化没有个优化点太宽泛了

0 回复有任何疑惑可以回复我~

提问者慕粉3427824 #1
```
请问老师item pipeline存储的数据如何去重？
```
回复有任何疑惑可以回复我~ 2017-12-24 11:03:18
bobby 回复提问者慕粉3427824 #2
```
去重我后面会讲原理的 你往后看视频吧
```
回复有任何疑惑可以回复我~ 2017-12-25 10:10:38
提问者慕粉3427824 #3
```
视频里的是url去重，我看完了
```
回复有任何疑惑可以回复我~ 2017-12-25 12:07:18

点开查看后面8条评论

相似问题

老师，最优化原理和凸优化什么区别的？

卷积和池化的区别

线程池流程理解

项目中怎么用线程池？

老师您好，我想问一下关于scrapy中的ip代理池问题

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5796 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.2k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载