能否使用Flink构建爬虫平台

Answer 1

Michael_PK 2019-05-25 13:52:07

爬虫得需要爬虫的技术去把数据爬下来，然后可以使用flink进行处理分析

• 提问者 精慕门0467118 #1

  我的意思是能否通过flink实时或批量获取爬取任务，然后爬取数据、解析、分析等操作都用在flink里来做

• Michael_PK 回复 提问者 精慕门0467118 #2

  请先了解清楚每个框架的职责，批量爬这不是flink的职责所在。每个框架有美每个框架的使用范围的

• 提问者 精慕门0467118 #3

  使用flink批量抓取任务，如果我要让任务不停执行，是在main里写死循环吗，或是在main里写个线程池不停抓取呢

点开查看后面6条评论