老师，为什么,监控Windows本地下的目录，复制文件过去，无统计结果，也不报错

Question

val lines = ssc.textFileStream("file:///E:/idea_workspace/spark_stream/datas/")

val result = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
result.print()

ssc.start()
ssc.awaitTermination()

Answer 1

Michael_PK 2018-08-20 23:46:47

仔细听这个视频，为什么没数据我讲解过

• 提问者 人唯优2018 #1

  刚刚看到就问了。。。，现在知道了，必须要以流的形式写入，才可以，感谢老师

• Michael_PK 回复 提问者 人唯优2018 #2

  处理文件系统的数据一定要注意时间

• 提问者 人唯优2018 #3

  非常感谢！

点开查看后面5条评论

Answer 2

慕粉0909169327 2018-09-07 18:58:57

感觉要新写一个文件，将文件复制进文件夹才可以，已有的文件复制没成功O(∩_∩)O

• Michael_PK #1

  对的，要文件时间比启动时间晚才行