客户自己调度sqoop作业问题。

Question

我们现在有一个需求，就是希望开发能自己创建sqoop作业，但是又不希望开发直接登录linux操作。我想请问老师现在业界，数据同步作业是怎么实现的？都是登录linux 一个一个创建sqoop作业吗？现在我们面向几十个开发。希望开发自己创建自己的作业。但是又不希望开发直接登录Linux ，这种问题通常的解决办法是什么啊？希望老师解惑。

Answer 1

Michael_PK 2020-09-01 14:29:26

公司里面都是基于WebUI来进行操作的。其实就是要把sqoop脚本你的那些参数，比如你从数据从哪里来，导入到什么地方去，是否分区，分隔符是什么，需要哪些列，全部都是通过页面来进行选择的，相当于根据你的业务把所有条件都选好，然后保存到数据库里，在通过一个作业定时扫描你数据库中已经配置的作业，进行定时调度，其实就是将shell脚本页面化进行管理，这样就不需要去linux了

• 提问者 漫步oo0云端 #1

  那再请教一个问题，webui界面通常使用开源的hue呢还是自己封装一层应用程序啊？

• Michael_PK 回复 提问者 漫步oo0云端 #2

  自己开发的，hue上暂时还不具备这功能

Answer 2

提问者 漫步oo0云端 2020-09-01 19:23:47

那再请教一个问题，webui界面通常使用开源的hue呢还是自己封装一层应用程序啊？