sparksql 如何高性能写入kafka有没有案例提供谢谢

Question

我想实现从hdfs读取然后批量写入kafka，能不能提高一个案例，谢谢
数据量一个csv文件50g

Answer 1

Michael_PK 2020-02-12 12:40:02

kafka适用于实时处理，而SQL离线比较多，两者不太搭吧，为什么现在这个架构呢？即使选择，那也只能按照kafkaapi的要求写数据

• 提问者 我是风雪 #1

  我现在的场景是,分析端需要用到greenplum，但是他的比较好的性能是从kafka批量读取数据落盘,目前我用sparksql从Phoenix中读取数据保存到hdfs上,想实现的是hdfs同步到greenplum

• 提问者 我是风雪 #2

  目前我就是离线的数据导入，实时的全是走phoenix+hbase,或者有没有使用于oltp的sql查询和写入更好的办法？

• Michael_PK 回复 提问者 我是风雪 #3

  这么说是OK的，那就得调用hdfs到gp的工具了

点开查看后面2条评论