spark-3.0.0-preview-hadoop2.6.0-cdh5.15.1源码编译失败

Question

pk哥你好，问题同之前的spark-3.0.0-hadoop2.6.0-cdh5.15.1源码编译失败。由于之前的提问无法再发截图，为了便于交流，新增此提问，希望老师理解。

环境：
maven3.6.2
java8
scala2.12.10

spark-3.0.0-preview-hadoop2.6.0-cdh5.15.1编译指令如下：

./dev/make-distribution.sh --name 2.6.0-cdh5.15.1 --tgz -Dhadoop.version=2.6.0-cdh5.15.1 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

编译的yarn的时候，显示错误信息如下：

相关文件修改点如下：
1.settings(maven-3.6.2).xml

  <localRepository>/Users/meilei/imoocRepository/spark3.0.0-preview</localRepository>

<!--新增阿里云镜像-->
<mirror>
 <id>nexus-aliyun</id>
 <mirrorOf>central</mirrorOf>
 <name>Nexus aliyun</name>
 <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

2. pom(spark-3.0.0-preview).xml

<!--修改hadoop默认版本为2.6.0-->
<!--<hadoop.version>2.7.4</hadoop.version>-->
<hadoop.version>2.6.0</hadoop.version>

<!--新增cloudera引用-->
<repository>
      <id>cloudera</id>
      <name>cloudera repository</name>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>

    <!--新增hadoop-2.6相关配置(属性值参考spark-1.6.3源码中hadoop-2.6的配置,不确定是否正确)--> 
    <profile>
      <id>hadoop-2.6</id>
      <properties>
         <hadoop.version>2.6.0-cdh5.15.1</hadoop.version>
        <jets3t.version>0.9.3</jets3t.version>
        <zookeeper.version>3.4.6</zookeeper.version>
        <curator.version>2.6.0</curator.version>
      </properties>
    </profile>

3.make-distribution(spark-3.0.0-preview).sh

#修改MVN路径
#MVN="$SPARK_HOME/build/mvn"
MVN="$MAVEN_HOME/bin/mvn"

想问一下老师，除了上面的修改点外，还要修改哪些配置？下载的解压后的spark-3.0.0-preview源码是否要修改？编译指令是否需要其他参数？弄了几天，一直没编译成功，希望pk哥指点一下，谢谢。

Answer 1

Michael_PK 2020-08-29 17:31:37

那个error信息就是兼容性不够了，要改才行

• 提问者 qq_梦也_1 #1

  明白。

Answer 2

Michael_PK 2020-08-29 17:30:40

上次那个帖子也是你的吧，这个是源代码要修改，不修改编译不过去的，找那个issue的解决方案，去找没？必须要修改源码才行，直接编译不过的。

• 提问者 qq_梦也_1 #1

  issue已找到https://github.com/apache/spark/commit/20140b1ba47a17e8821b5bbf6b05bb14ad728822
  正在尝试修改源码。

• Michael_PK 回复 提问者 qq_梦也_1 #2

  对，就是这个

• 提问者 qq_梦也_1 回复 Michael_PK #3

  spark-3.0.0-preview源码中的 yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala
  与issue中给出的版本并不相同，按照issue中的方法新增sparkConf.get(ROLLED_LOG_INCLUDE_PATTERN).foreach{}的同时，需要注释掉已有的同名方法。
  
  yarn/src/main/scala/org/apache/spark/deploy/yarn/config.scala
  不用修改。
  
  源码编译成功，非常感谢pk哥的耐心指导，谢谢！

点开查看后面4条评论