spark2.3.0编译出错

Question

Failed to execute goal on project spark-launcher_2.11: Could not resolve dependencies for project org.apache.spark:spark-launcher_2.11:jar:2.3.0: Failure to find org.apache.hadoop:hadoop-client:jar:2.6.0-cdh5.7.0 in https://repo.maven.apache.org/maven2 was cached in the local repository

在maven源找不到这个jar包，我换过aliyun mirror也是这个问题。

Answer 1

Michael_PK 2018-09-04 10:00:47

你去本地仓库把提醒的这个包的带有update名字的文件删了

• 提问者 RhythmEVO #1

  PK哥，我在本地仓库里面没有找到这个包的带有update的文件，我把那个包整个删掉了重新运行还是报错。。

• Michael_PK 回复 提问者 RhythmEVO #2

  没有update，那就是last啥的文件名，这个问题是你本地有被缓存的了，不会从网络上下。两个办法：
  1）org.apache.hadoop目录下的hadoop-client删了
  2）编译的maven脚本最后加上-X

• 提问者 RhythmEVO #3

  非常感谢！

点开查看后面2条评论

Answer 2

roy4j 2020-02-18 18:44:34

修改 spark2.3.0/pom.xml

<!-- <id>central</id>

       This should be at top, it makes maven try the central repo first and then others and hence faster dep resolution

        <name>Maven Repository</name>

        <url>https://repo.maven.apache.org/maven2</url> -->

     <id>cloudera</id>

     <name>cloudera repository</name>

      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>