采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师,我从hbase中70万条数据中,条件查询出3万条数据,要用大几十秒,这正常吗?要优化查询速度只有上phoenix或者es了吗
感觉不是太正常,这个的话我估计小几秒应该就差不多了,关键点应该还是在rowkey的设计上,要重新利用你的查询条件来进行rowkey的设计,phoenix是构建在hbase之上的,性能不会比HBase原生API快的。
还有一个问题就是,我是在本机开发,然后hbase放在云服务器上,我测试本机运行程序,消费kafka,再更新到云服务器的hbase上,500条数据就要好几秒,是因为走的公网,每次提交都要网络开销造成比较慢吗?
这个的确与网络是有很大关系的。你现在本地测试知道了时间,你打包到服务器上去执行,对比下执行时间就知道了
这样如果做hbase的集群。多个hbase不在一个私网内,那就算我部署在云服务器上,是不是对不在本局域网的hbase做新增也会很慢
登录后可查看更多问答,登录/注册
Flume+Kafka+Spark Streaming 构建通用实时流处理平台
1.7k 89
1.1k 14
2.3k 13
1.7k 12
2.4k 12