再问一个终极问题

Question

我的需求是对无数的设备采集到的数据进行统计展示 基本上是求和。

数据类型 基本上都是数字，

目前的数据量 10T/年

老师有什么建议吗

Answer 1

提问者 qq_Mel_0 2018-01-03 23:02:03

我的需求是：

1、数据存储（每年10T左右，至少要保存10年）

2、简单的聚合查询（a.按时间查询；b.求和等）

3、数据检索要实时的

采集到的数据基本上就是数字类型的

• Michael_PK #1

  保存100年，也是你集群抗不抗的住的问题，实时检索就采用对应的框架和技术就行

• Michael_PK #2

  10T这么点数据，被你说的很大似的。。。

• 提问者 qq_Mel_0 回复 Michael_PK #3

  数据量以后肯定会增长 
  不管怎样现在mongodb已经扛不住了 
  另外 采集到hdfs中 能长期作为数据库来存储吗 那么实时检索的话能不能指点下 用什么框架呢
  指点下 然后我自己去研究：）
  

点开查看后面1条评论

Answer 2

Michael_PK 2018-01-03 20:58:58

采集到HDFS，使用分布式框架计算就行，10t算小的，只要HDFS存下就行