运行spark-shell的时候报错

Question

运行spark-shell的时候报错

Answer 1

Michael_PK 2019-11-20 10:19:44

你这spark哪来的

• 提问者 雷精 #1

  从Spark 官网上下的
  spark-2.4.4-bin-hadoop2.6
  还有cdh
  spark-1.6.0-cdh5.15.1
  我都试了一次，两个都报这个错

• Michael_PK 回复 提问者 雷精 #2

  你有使用我提供的OOTB吗？ 官方的我还真没用过，都是自己编译出来的呢

• 提问者 雷精 回复 Michael_PK #3

  已经解决这个问题了，
  在 spark-env.sh 中加上
  
  export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
  
  export HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop
  
  export SPARK_DIST_CLASSPATH=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/bin/hadoop