Moving方式创建读取文件

Question

老师这里，windows环境下，也要moving吗？
如果是 hdfs的环境 是不是只能在 虚拟机spark环境中写呢？还是可以 直接写在 pycharm中？

Answer 1

Michael_PK 2018-09-16 16:54:39

是MV HDFS的数据，小数据量不一定测试的处理，生产环境大数据才可能会发生

• 提问者 Yelena_Nic #1

  没有听太懂老师。？

• Michael_PK 回复 提问者 Yelena_Nic #2

  streaming读取HDFS的文件时，文件是从HDFS的另外文件夹mv过去给streaming使用