采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
这段代码可以输出结果,但是上面图片中的错误是提示(少一个winutils.exe这个文件),我应该把这个文件配置到虚拟机上吗?我是在win10中pycharm下运行的。
1)下载winutils.exe和hadoop.dll,添加到HADOOP_HOME,并添加到PATH中 (注意Hadoop版本):https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
2)放这两个在%HADOOP_HOME%\bin下,同时hadoop.dll也放在C:\Windows\System32目录下
也就是说,我需要在windows本地配置Hadoop信息,那像hdfs-site.xml 配置信息我也要重新配置吧
不需要的,你就本地放个目录把下载的放进去然后配置到win的环境变量就行了,不需要在本地区配置那些site的配置文件
非常感谢!
登录后可查看更多问答,登录/注册
使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度
1.1k 16
955 15
823 14
889 12
2.0k 11