采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
视频中在pycharm中直接导入了pysark的相关程序包,windows要如何导入spark的程序,以便在本地进行测试呢~
直接搜索下window pycharm整合spark开发看看
windows下要下载一个pyspark才能使用
都需要下载的,我只是已经在本地了
这是python 使用pip install 安装好的文件路径, 之后的操作和PK哥一样的,在你的程序中配置PYTHON路径和SPARK_HOME 路径 都在pyspark中
python 先安装 pypi 然后在下载pysaprk
step1: pip install pypi
step2: pip install pyspark
如果使用pycharm的话,建议大家使用虚拟环境(virtualenv)安转这些依赖
碰到同样的问题,是不是可以在linux里面装个pycharm这样操作?
哎,水平太差,到处都是坑~~
可以的,直接在Linux上搞,更方便
这个操作方式应该是一样的吧,不管啥系统,只要把那个包导入到开发工具里面
老师要导入哪个包???添加spark_home的路径不应该是虚拟机的路径吧。。windows下要怎么弄呢
win下就win的目录呢,你win本地下载一个spark就行了
那win本地还需要配置spark相关文件吗?
登录后可查看更多问答,登录/注册
使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度
1.3k 16
1.1k 15
1.0k 14
1.0k 12
2.3k 11