spark read parquet报错，但是能写入

Question

上一节中，写入数据以parquet放入，能成功。但是数据读取，报错，在读取parquet文件过程中。对比代码，没看出什么错误。。。报的错误就是图片上的，没得出啥结论

Answer 1

提问者 摆渡船夫 2018-06-11 18:22:41

我的scala是2.11.3 ，这个升级到2.11.8 就解决了。。。版本对应关系。

Answer 2

Michael_PK 2018-06-11 15:01:18

你使用spark shell读取看看，在Linux上操作

• 提问者 摆渡船夫 #1

  INFO SharedState: Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('file:/C:/Users/Scyangle/IdeaProjects/scalaTest/spark-warehouse/').
  日志中这个会有关系吗？我是在windows本地开发的，启动spark-shell不方便

Answer 3

Michael_PK 2018-06-11 14:56:25

刚才没到图。你用反斜杠以及本地使用local开头试试

• 提问者 摆渡船夫 #1

  val accessDF = spark.read.format("parquet").load("file:///C:/Users/Scyangle/Desktop/spark-scala/mooc/access")  //是这样做吗，这么操作也是错误

Answer 4

Michael_PK 2018-06-11 14:55:17

提供详细信息