hdfs数据迁移

Question

老师您好，最近在做hdfs数据到对象存储的迁移，需要自建一个工具来实现这个功能，这块您有没有什么建议或者资料可以参考呢？

Answer 1

Michael_PK 2022-04-10 15:34:55

这个数据迁移，直接distcp就可以吧

• 提问者 qq_Anonymous_37 #1

  主要是需要自建平台，Java可以直接调用distcp吗？并且可以获取到任务的状态🤔

• Michael_PK 回复 提问者 qq_Anonymous_37 #2

  distcp底层就是java实现的。 一般distcp都是一个shell脚本去跑起来就行了，底层跑的是mr任务