pyspark出现Py4JJavaError

Question

老师，我在用Spark处理特征（上）这节课，跟着视频敲了下代码。

在17分钟multihot_df.show(10)出现了Py4JJavaError，报错代码如下：

搜了下没看到合适的解决方案，请问该如何解决呢？

Answer 1

Daniel 2022-11-04 12:27:22

看起来是找不到名叫python3的可执行文件的问题。

你看看环境变量里面有没有python3这个命令？如果没有的话可以创建一个符号链接把python命令链接上去哈。

• 提问者 weixin_慕沐2410977 #1

  老师我解决了，在创建spark session之前执行：
  import os
  import sys
  os.environ['PYSPARK_PYTHON'] = sys.executable
  os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable

• Daniel #2

  好的！

Answer 2

Daniel 2022-11-04 11:51:54

同学你好 你是用的docker安装的spark嘛？然后python开发环境是直接在host机器上？

• 提问者 weixin_慕沐2410977 #1

  是在win10下用conda install pyspark安装的，整个开发环境都是基于anaconda