spark-sql_2.11-2.1.0.jar里面没有sparkContext sparkConf的类

Question

spark-sql_2.11-2.1.0.jar里面没有sparkContext sparkConf的类

是我下的有问题 还是别的 

Answer 1

十里桃花舞丶 2017-11-18 23:14:53

同样的问题，我的解决方案，可以参考

按住CTRL键+鼠标点击SQLContext()进去看源码，找到里面的SparkContext()，同样CTRL+鼠标点击进去看源码。在源码里找到SparkConf()，同理CTRL+点击找源码

要是找不到源码，即调不到源码界面

把pom.xml 中 scala.version改成2.1.1

Answer 2

Michael_PK 2017-11-17 19:39:36

你先把你的pom贴出来，确定所有的dependency是否到加载进来了。

你代码里面的new的类  第一个字母小写的是啥

• 提问者 马赟 #1

  稍等我贴出pom， new后面是我后面随便试的sparkconf

• 提问者 马赟 #2

  <repositories>
      <repository>
        <id>scala-tools.org</id>
        <name>Scala-Tools Maven2 Repository</name>
        <url>http://scala-tools.org/repo-releases</url>
      </repository>
    </repositories>
  
    <pluginRepositories>
      <pluginRepository>
        <id>scala-tools.org</id>
        <name>Scala-Tools Maven2 Repository</name>
        <url>http://scala-tools.org/repo-releases</url>
      </pluginRepository>
    </pluginRepositories>
  
    <dependencies>
      <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>${scala.version}</version>
      </dependency>
      <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>${spark.version}</version>
      </dependency>
       </dependencies>

• 提问者 马赟 #3

  感谢十里桃花舞丶的帮助 。SparkContext()源码没有找到，但将sparksql的版本更换一下，重新更新一下好了！！