hive data export

Question

老师，您好，我最近项目上遇到一个需求，场景是这样的，我们公司原来有一个 hadoop 集群，然后数据仓库用的是 hive。我们部门想自己搭一个小的 hadoop 集群，然后把原来 hive 里的数据复制过来。

我在网上找了一些方法，目前实验成功的是通过 hive export 和 import ，这种方式的步骤是：
1、原hive 上做 export 直接到 目标的 hdfs
2、在目标 hive 上做 import

或者想了下能不能直接 dump 元数据的 mysql，但权限问题，目前没办法做到。

想问下老师，这种场景有什么更好的办法吗？

Answer 1

Michael_PK 2019-10-30 22:04:18

最简单办法，HDFS数据distcp过去，hive元数据信息复制到新集群MySQL就行了

• 提问者 DemonLS #1

  distcp和export过去应该是一样的效果吧，都是只到hdfs，要再导入hive再做import操作

• Michael_PK 回复 提问者 DemonLS #2

  HDFS和元数据关联上就OK了。hive数据不就是HDFS数据加元数据么

• 提问者 DemonLS 回复 Michael_PK #3

  怎么样才算关联上

点开查看后面7条评论