Hive To Mysql

Question

老师，您好，我在项目中遇到一个需求，是需要从 Hive 中做一些 sql 的统计，然后把数据导出到 mysql，除了统计之外，可能需要将最近几天的明细数据也导出到 mysql，统计数据量级还好，明细数据算下来100W左右。我们目前的做法是用的 hive jdbc 然后查询，再拼接 sql 语句做批量插入。我觉得这样有点麻烦，在网上查了些资料，sqoop可以做这个事，但是它好像对 mysql to hive 支持得更好，如果是从 hive 导出，就需要建统计数据的临时表。另外一种做法就是导出数据结果到文件里，再导入mysql。想请教下有没有什么更好的方式？

Answer 1

Michael_PK 2019-09-27 18:36:12

sqoop和jdbc都是可以的，但是有一点必须要做好，一次导出OK，相同操作导出多次，得保证MySQL数据库中数据不重复呢，这就是所谓的幂等性

• 提问者 DemonLS #1

  恩，这个明白的，我就是觉得用 jdbc 需要有事务去控制，而如果有类似 sqoop 的操作，一次导入对单个导出操作会比较友好