请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

spark-shell中执行sparkSQL报错:需要Hive支持

回答1 浏览106 2020-10-09 14:22:41

spark-shell启动正常图片描述
spark-shell执行spark.sql(“show tables”).show正常
图片描述
执行spark.sql(“create table t(key string, value string)”)报错
图片描述
说是需要hive支持,我将hive-site.xml放入$SPARK_HOME/conf下依然不管用,我也启动了元数据共享nohup hive --service metastore &依然不行

添加回答

已采纳回答

你是在服务器执行的是吧。两个事情,一是hivesite要在conf目录下,而是你如果使用了metastore服务,这个服务要正常启动起来,jps可以确认下是否启动成功。这两个的前提都是hivesite要在sparkconf下

2020-10-09 14:29:13
  • 提问者 璀璨年华_ #1
    是我的问题,我使用的是官网编译好的spark,它默认不支持hive,需要自己编译一个就可以了,麻烦老师了
    2020-10-09 18:11:13
  • 对的,是需要编译加入yarn的支持才可以
    2020-10-09 18:11:43

SparkSQL极速入门 整合Kudu实现广告业务数据分析

难度中级
时长17小时
人数370
好评度98.4%

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

讲师

Michael_PK 全栈工程师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

意见反馈 帮助中心 APP下载
官方微信