请稍等 ...

如何提高scrapy的性能

老是，我最近面试老是被问到，如何提高scrapy的效率和性能

宝慕林0794768 2019-02-14 08:29:21

源自：14-1 elasticsearch介绍

633

收起

提交取消

1回答

bobby 2019-02-17 10:41:30

scrapy本身是一个异步io的框架，本身的性能很高，如果面试中问到提升性能就需要问对方是不是爬虫中遇到阻塞io的操作了，如果遇到了就将这些操作放到线程池中去完成，对于本身已经支持异步io的库则不需要去优化

0 回复有任何疑惑可以回复我~

相似问题

数据库如何提高性能？提高QPS 及 TPS

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

如何实现提供restful接口，并实现增量爬取

在redis分布式基础上如何加入多进程？

scrapy多进程如何实现

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5794 人
解答问题 6280 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载