spark sql无法读取hbase数据

Question

老师您好，我创建了一张hive到hbase映射表
CREATE TABLE xsyq_accuracy_hbase(
key string,
pday int,
enterprisename string,
parameter string,
parametertype string,
processname string,
accuracy double
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “:key,cf1:pday,cf1:enterprisename,cf1:parameter,cf1:parametertype,cf1:processname,cf1:accuracy”)
TBLPROPERTIES (“hbase.table.name” = “xsyq_accuracy_hbase”, “hbase.mapred.output.outputtable” = “xsyq_accuracy_hbase”);

在hive里通过sql语句可以通过insert into插入数据到hbase,但是用spark sql插入时报错：
hbase-protocol-2.1.1.jar
hbase-client-2.1.1.jar
hbase-common-2.1.1.jar
hbase-server-2.1.1.jar
metrics-core-3.2.1.jar
hive-hbase-handler-2.3.4.jar
htrace-core-3.1.0-incubating.jar
hbase-annotations-2.1.1.jar
hbase-hadoop2-compat-2.1.1.jar
hbase-hadoop-compat-2.1.1.jar
以上jar包已经导入了spark的jars文件夹内

Answer 1

Michael_PK 2021-04-22 17:03:43

你这个是hiveHBASEhandle的是吧，这个错是找不到对应的类，应该是环境变量不够或者是hiveHBASE版本不兼容的问题。这种使用方式性能非常差，不建议使用

• 提问者 侧耳倾听17 #1

  谢谢老师，刚刚接触hbase,请问如果要对接hive和spark-sql采用哪种方式比较好呀

• Michael_PK 回复 提问者 侧耳倾听17 #2

  spark对应的HBASE的外部数据源对接进来后就可以用SQL了，或者HBASE上加一层phoenix

• 提问者 侧耳倾听17 回复 Michael_PK #3

  谢谢老师，spark对应的HBASE的外部数据源对接这部分认真弄懂本门课程就可以掌握嘛，我看到hbase入门api那部分了，刚开始学感觉还是有些难度。