用JDBCInputFormat连接mysql获取数据进行批处理，但如果获取的数据量比较大，性能方面有问题，这种需要怎么处理？-慕课网

1回答

Michael_PK 2019-05-14 06:37:30

这个input format都是分布式的，都是从从库去读取的，如果你认为性能跟不上，压测一把就可以了

0 回复有任何疑惑可以回复我~

提问者 ccw924263 #1

一条sql语句查询结果有10W条数据，input format分布式是怎么实现的，是用类似mysql分页的方法，将一条sql拆分成多条查询，再用flink 的transformation方法进行数据合并？

回复有任何疑惑可以回复我~ 2019-05-14 15:58:49

Michael_PK 回复提问者 ccw924263 #2

要想了解它底层是如何实现的，直接去Flink源码中查看这个类JDBCInputFormat的源码就知道了

回复有任何疑惑可以回复我~ 2019-05-14 20:19:28

提问者 ccw924263 回复 Michael_PK #3

官网上的批处理的数据源采集一般是用文件或者本地集合，对于inputFormat的描述很少，是不是对于这种不太支持？

回复有任何疑惑可以回复我~ 2019-05-18 11:56:47

用JDBCInputFormat连接mysql获取数据进行批处理，但如果获取的数据量比较大，性能方面有问题，这种需要怎么处理？