wordcount编译错误

Question

这是我的代码
import org.apache.spark.SparkContext
object WordCount {
def main(args: Array[String]): Unit={
var sc = new SparkContext(“local”,“wordcount”)
var file = sc.textFile("/1np/spark-3.0.0-preview2-bin-hadoop2.7/LICENSE")
file.flatMap(.split(" ")).map((,1)).reduceByKey(+).foreach(println(_))
}
}

这是编译错误
Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray;atorg.apache.spark.SparkContext$.(SparkContext.scala:2512)
at org.apache.spark.SparkContext$.<clinit>(SparkContext.scala)atWordCount$.main(WordCount.scala:4)
at WordCount.main(WordCount.scala)

Process finished with exit code 1

Answer 1

Wotchin 2020-02-16 00:18:35

看着感觉像是scala的依赖有问题，看看是不是scala没有倒进去，同时验证一下和spark版本是否匹配。如果还不行，用spark shell尝试看一下

• 提问者 qq_慕运维8348849 #1

  我用的是2.13.1的scala，有没有现版本推荐的spark版本加scala版本呢

• 提问者 qq_慕运维8348849 #2

  非常感谢！

• 提问者 qq_慕运维8348849 #3

  spark shell 也运行不了wordcount

点开查看后面1条评论