window上pycharm运行spark报错

Question

老师，您好，我把spark文件夹复制到我的windows电脑上，添加了配置之后，运行的时候报这个错误，是spark哪个配置还没有配置好的问题吗？
java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop000

Answer 1

Michael_PK 2020-03-01 22:57:25

你本地机器没有配置hadoop000和ip的映射关系

• 提问者 qq_小胖_0 #1

  然后pycharm上还报这个Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
  但是我在linux上启动./pyspark的时候，明明显示python版本是3.6的，并不是2.7

• Michael_PK 回复 提问者 qq_小胖_0 #2

  需要把3的路径配置到spark环境变量里面去

• 提问者 qq_小胖_0 回复 Michael_PK #3

  我已经是在pycharm里面的configurations配置过了，一样报那个错误。~/.bashrc环境变量我配置了，还是不行。我用./spark-submit运行就没有问题的。
  这个配置spark环境变量指的是配置ootb上的环境变量？还是配置在spark-config.sh  ？

点开查看后面1条评论