请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

spark查询hbase

老师要想查询hbase表中所有数据,怎样查询速度快,比如说有上亿条数据

正在回答

1回答

叁金 2018-10-16 08:01:43

对于hbase的查询方式比较多,一般业务场景都是基于Java api  对指定rowkey或者指定rowkey间隔进行查询,速度快,上个问题的回答基本就是这种方式。其他的第三方开源工具也有很多,比如hive,Phoenix等等。他们大致上实现如下:
以MapReduce为核心,单个任务使用HBase client原始接口访问。比如Hive
以Google Dremel为核心,单个任务使用HBase client原始接口访问。比如Drill
以HBase Coprocessor为核心,结合Google Dremel思想,客户端合并多个节点的处理结果。比如Phoenix

通过spark操作hbase我并没这么用过,但是用spark操作过Phoenix,坑很多。 最主要的就是guava和Scala的包冲突。烦得很。      你可以看看Phoenix是否满足你的需求。   再看spark

1 回复 有任何疑惑可以回复我~
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信