请稍等 ...

Moving方式创建读取文件

老师这里，windows环境下，也要moving吗？
如果是 hdfs的环境是不是只能在虚拟机spark环境中写呢？还是可以直接写在 pycharm中？

Yelena_Nic 2018-09-16 16:25:17

源自：9-8 -SparkStreaming操作文件系统数据实战

610

收起

提交取消

1回答

Michael_PK 2018-09-16 16:54:39

是MV HDFS的数据，小数据量不一定测试的处理，生产环境大数据才可能会发生

0 回复有任何疑惑可以回复我~

提问者 Yelena_Nic #1
```
没有听太懂老师。？
```
回复有任何疑惑可以回复我~ 2018-09-16 17:20:22

Michael_PK 回复提问者 Yelena_Nic #2

streaming读取HDFS的文件时，文件是从HDFS的另外文件夹mv过去给streaming使用

回复有任何疑惑可以回复我~ 2018-09-16 17:45:27

相似问题

PropertiesUtil工具类只能读取mmall.properties配置文件吗

pycharm读取mysql数据文件

关于resource创建文件夹

用pd.read_csv读取文件出错

redis开启aof持久化配置，为什么会先读取aof文件恢复数据

登录后可查看更多问答，登录/注册

Python3实战Spark大数据分析及调度

参与学习 1046 人
解答问题 433 个

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

了解课程

本课精华内容

问答

老师，你用的mac电脑可以直接在上边进行开发测试，我们用的windows电脑，要如何导入spark，进行spark测试呢？

1.2k 16

Hadoop启动失败

1.1k 15

老师，能不能帮我看看，为啥我浏览器访问kibana是这样的

990 14

Spark并行与资源分配的问题

1.0k 12

FAILED: SemanticException [Error 10001]: Line 1:28 Table not found 'emp'

2.3k 11

查看更多本课问答

意见反馈帮助中心 APP下载