请稍等 ...

老师，使用docker打包scrapy后

使用docker打包scrapy后，放在服务器上占用cpu很高,是哪里出了问题

生晟 2019-09-29 20:29:51

源自：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

417

收起

提交取消

2回答

提问者生晟 2019-10-02 09:16:50

老师，scrapy本身对cpu占用大吗

0 回复有任何疑惑可以回复我~

bobby 2019-10-01 15:38:19

你有没有试过直接在服务器上启动而不是使用docker打包看看cpu占用高不高？

0 回复有任何疑惑可以回复我~

提问者生晟 #1
```
老师，scrapy本身对cpu占用大吗
```
回复有任何疑惑可以回复我~ 2019-10-02 09:38:43
bobby 回复提问者生晟 #2
```
本身占用不大
```
回复有任何疑惑可以回复我~ 2019-10-08 08:25:27

相似问题

老师，scrapy使用代理api

打包后child_process模块是空的

打包后的data.json

请教老师一台服务器有必要用docker来部署应用吗？

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5761 人
解答问题 6265 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.4k 30

MysqlTwistedPipline的对象没有cursor属性

2.3k 18

知乎answer提取不到

822 18

为什么知乎数据导入不到MySQL数据库中？

1.1k 15

运行 scrapy crawl jobbole 报错

2.1k 15

查看更多本课问答

意见反馈帮助中心 APP下载