请稍等 ...

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

这里是引用文字

765

收起

提交取消

1回答

bobby 2020-03-15 15:07:10

scrapy-redis本身就是分布式爬虫你只需要配置指向同一个redis，再多个服务器上启动就可以了

0 回复有任何疑惑可以回复我~

提问者慕仰7968168 #1
```
老师请问现在的代码可以对拉勾网分布式爬虫搜索吗
```
回复有任何疑惑可以回复我~ 2020-03-16 17:29:11

bobby 回复提问者慕仰7968168 #2

可以，代码我已经上传了最新的部分 支持对拉钩和cnblogs切换以及搜索

回复有任何疑惑可以回复我~ 2020-03-18 10:14:59

提问者慕仰7968168 回复 bobby #3

老师我下载了源码，里面的scrapyredis还是对伯乐在线进行爬虫啊，这个网站好像已经没了？？源码里有对拉勾网进行爬虫的部分吗？？

回复有任何疑惑可以回复我~ 2020-03-27 00:38:15

登录后可查看更多问答，登录/注册

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

问答作业

4.8k 30

2.5k 18

1.1k 18

1.4k 15

2.8k 15