Spark编译报错

Question

执行命令后编译报错。根据给的网址说是POM文件问题，这个怎么设置呢？https://cwiki.apache.org/confluence/display/MAVEN/UnresolvableModelException
./dev/make-distribution.sh --name 2.6.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0

Answer 1

Michael_PK 2021-05-17 22:21:32

1) 你查看下spark的pom文件，是否支持-Phadoop2.6呢，编译命令不是所有版本都一样的，要对应官网和源码的pom.xml中的才行

2） 你编译的机器最好不要有其他在跑的进程。

所以建议：在学习课程时尽量使用课程中的软件版本，学完之后，想换其他版本再换，不然会有各种不同的问题，这就需要根据我的思路自己来解决了

• 提问者 Kameimooc #1

  好的，我先试试，因为OOTB环境在Windows系统的VMware中无法启动。只能自己搭一个环境了。目前没有找到可下载的spark2.3.0版本，下了官网最新的

• Michael_PK 回复 提问者 Kameimooc #2

  你的vm是什么版本，打不开很大可能是vm版本太高了，使用10、11的版本试试。spark所有的下载：https://github.com/apache/spark/releases