关于编译的问题

Question

老师您好，我使用spark-2.4.3，然后对应的hadoop是3.1.2，编译的时候添加了phive参数，编译完成之后我启动spark-shell的时候，hive.shims报错，无法分辨的hadoop版本3.1.2，这是不是因为我没有使用默认的Phadoop-3.1指定的hadoop3.1.0版本？还是因为Phive默认的hive版本太低了？如果我要使用hadoop3.1.2，又不想报错，可以指定hive编译的版本吗？请问该怎么搞？

Answer 1

Michael_PK 2019-07-18 23:02:26

具体是否支持的看pom里面的hadoop的profile是否有

Answer 2

Michael_PK 2019-07-18 23:02:08

spark好像还不支持这么高的hadoop版本

• 提问者 weixin_慕田峪8372375 #1

  这是pom的
  <profile>
        <id>hadoop-3.1</id>
        <properties>
          <hadoop.version>3.1.0</hadoop.version>
          <curator.version>2.12.0</curator.version>
          <zookeeper.version>3.4.9</zookeeper.version>
        </properties>
      </profile>

• 提问者 weixin_慕田峪8372375 #2

  然后这是我的编译命令
   make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1 -Pscala-2.12 -Dscala.binary.version=2.12  -Dzookeeper.version=3.5.5 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes

• 提问者 weixin_慕田峪8372375 #3

  然后启动local模式后spark-shell  --master local[2]报错，
  java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.1.0
    at org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion(ShimLoader.java:174)
    at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:139)
    at org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:100)
    at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:368)
    at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
    at org.apache.spark.sql.SparkSession$.hiveClassesArePresent(SparkSession.scala:1117)
    at org.apache.spark.repl.Main$.createSparkSession(Main.scala:102)
    ... 57 elided
  <console>:14: error: not found: value spark
         import spark.implicits._
                ^
  <console>:14: error: not found: value spark
         import spark.sql

点开查看后面3条评论