pyspark可以访问hive但spark-submit访问不了hive

Question

在pyspark中，可以正常连接并访问hive的数据

但是使用spark-submit时，代码如下：

会报错：Table or view 'emp' not found in database 'default

按照网上搜索到的，使用了spark = SparkSession.builder.master("local[2]").appName("my app").enableHiveSupport().getOrCreate()之后，依然有如上报错。请问该如何解决？

（网上也有使用HiveContext的方法，但是HiveContext已经不被提倡了，并且我也使用这种方法尝试，还是不能正常连接。）

Answer 1

skyblueice3676069 2017-09-02 22:05:25

遇到同样情况，spark shell里面可以访问到hive table，但是在idea里面使用spark.sql等命令却总是显示default这个db中一个表没有。不少人也有相同的问题：http://coding.imooc.com/learn/questiondetail/17480.html

同样的代码。shell上有hive表，idea上则没有。conf/里面有hive-site.xml

• 提问者 慕瓜155437 #1

  我还没解决这个问题，就是hive和spark没有互相访问。你解决了吗？

• skyblueice3676069 回复 提问者 慕瓜155437 #2

  没弄明白，我感觉就是在IDEA上，找不到hive表的meta store了。或者，默认的是连hive自带的derby数据库而不是mysql数据库。我尝试了很多方法还是没有成功

• 提问者 慕瓜155437 回复 skyblueice3676069 #3

  我的metastore一直启动不了，总是卡住。不知道是不是因为这个原因

Answer 2

提问者 慕瓜155437 2017-08-30 15:16:39

最新情况，发现不只是pyspark和spark-submit访问hive存在问题，从hive的shell里访问到的default库的tables和从spark-shell里访问的不一样，会是什么造成的呢？

Answer 3

Michael_PK 2017-08-29 18:10:39

py我不熟，在群里问问其他小伙伴吧，我们所有开发spark的都是Scala语言

• 提问者 慕瓜155437 #1

  现在的问题是：从hive的shell里访问到的default库的tables和从spark-shell里访问的不一样，会是什么造成的呢？

• Michael_PK 回复 提问者 慕瓜155437 #2

  hive-site.xml两者加载的不一样

• 提问者 慕瓜155437 回复 Michael_PK #3

  我用的是老师提供的完整版，也没有修改hive-site.xml的配置

点开查看后面2条评论