Spark源码编译错误

Question

报出这个错误，虚拟机里的maven版本是3.6.3,jdk也是1.8
网络连接正常

Answer 1

Michael_PK 2021-02-21 00:29:56

或者也可以换个机器编译下试试。Win机器也是一样的编译方式

• 提问者 月亮和西多士 #1

  已经找到原因了，我把之前关掉的hdfs和yarn都启动起来就可以了

• Michael_PK 回复 提问者 月亮和西多士 #2

  编译的时候建议机器上没有其他服务在跑

• 夜愿小夜 #3

  碰到了和你一样的错误：下载源码后，解压，修改了根目录下pom.xml加入cdh资源库，执行命令如下：
  
  ./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Dhadoop.version=2.6.0-cdh5.16.2 -Psparkr -Phive -Phive-thriftserver -Pyarn
  
  额外指定了hadoop版本，仅此！
  
  + '[' '!' -z '' ']'
  + unset GITREV
  ++ command -v /usr/local/Spark/spark-3.0.3/build/mvn
  + '[' '!' /usr/local/Spark/spark-3.0.3/build/mvn ']'
  ++ /usr/local/Spark/spark-3.0.3/build/mvn help:evaluate -Dexpression=project.version -Dhadoop.version=2.6.0-cdh5.16.2 -Psparkr -Phive -Phive-thriftserver -Pyarn
  ++ grep -v INFO
  ++ grep -v WARNING
  ++ tail -n 1
  + VERSION='[ERROR] [Help 2] http://cwiki.apache.org/confluence/display/MAVEN/PluginManagerException'
  
  我的环境下，除了启动了一个Nginx其他都没启动了，外网可访问！

点开查看后面2条评论

Answer 2

Michael_PK 2021-02-21 00:29:29

你下载完源码，改动了啥没。