sparkstreaming读topic写入hdfs保存为parquet格式

Question

老师我用sparkstreaming读topic数据保存到hdfs上的格式是parquet,我是这样去做的，但是我试了好多次是不对的

Answer 1

Michael_PK 2019-09-25 11:02:28

你直接spark.read.parquet(path)   然后有一个方法 能直接获得到 这个path下的文件对应的整个structtype信息

• 提问者 慕容128306 #1

  我现在是从topic再往hdfs上保存，要求有parquet文件的scheme定义