windows下的pycharm能连到虚拟机的spark吗？

Question

老师的两个回答把我搞混了：

1. “idea开发，本地不需要安装spark，只要把相关的依赖加进来自动就可以使用的。“ - https://coding.imooc.com/learn/questiondetail/102896.html
2. “本地和虚拟机没有关系，这2个地方该装的东西都需要装，比如py啥的，不然没办法本地测试”
   https://coding.imooc.com/learn/questiondetail/72622.html

所以请问老师

1. 想用本地IDE，本地需不需要装一个spark环境？（本地装spark环境，就不需要老师提供的OOTB了吧？）
2. 如果不想本地再装一个spark，windows本地的pycharm能连到虚拟机的pyspark环境吗？
   尝试1：试图本地pycharm配置远程虚拟机python解析器（即虚拟机中的app/python3/bin/python3），但是虚拟机中python3并没有装spark（因为import pyspark出错），失败。
   尝试2：想到能否能直接配置虚拟机中SPARK_HOME/python文件夹中的python解析器，但发现没有，仅有“pyspark”文件，但该文件无法被pycharm识别为解析器，失败。
3. 老师的环境有区分本地和虚拟机吗？（好像没有）

Answer 1

Michael_PK 2021-03-10 00:27:54

开发工具比如pycharm之类的，我们进行本地开发，不需要本地安装一个spark环境的，只要依赖有了，本地都可以全部进行local方式的测试

• 提问者 OliverSong #1

  老师你看是这样理解吗？
  (1). pyspark能脱离spark和hadoop运行，来测试代码，只需要本地python环境pip install pyspark，就能跑pyspark的code。不过如果没有装hadoop的话，中间会报错“Failed to locate the winutils binary in the hadoop binary path”，找不到Hadoop环境，但不影响最终输出[1,2,3,4,5]。
  (2). 在老师提供的虚拟机含hadoop和spark环境，spark自带pyspark，用来编程spark（也可以用scala），不会有找不到Hadoop的报错。
  (3). 因此最合理是直接在虚拟环境装一个pycharm，而不是在windows本地装。

• Michael_PK 回复 提问者 OliverSong #2

  总结的非常到位！！！！ 赞

• qq_慕妹4371975 回复 Michael_PK #3

  老师您好 ，我用您给的命令在本地上编译spark-2.3.0时，报错显示没有配置java_home，这个该怎么解决呢？

点开查看后面1条评论