老师能帮忙看一个Sqoop的扩展问题吗？

Question

先谢过老师了

sqoop export \ --connect jdbc:mysql://eumen:3306/import_test \ --username root \ --password xxxxxx \ --table test_import \ --export-dir /user/hive/warehouse/test_db.db/test_import/* \ --input-fields-terminated-by '\001' \ --m 3
我以这样的导出方式，报错为找不到.metadata，sqoop的jira上说这个是无法解决的bug
sqoop export \ --connect jdbc:mysql://eumen:3306/import_test \ --username root \ --password xxxxxx \ --table test_import \ --hcatalog-database default \ --hcatalog-table test_import \ --num-mappers 1
我以这种方式导出，报错显示缺少一个org/apache/hadoop/hive/metastore/IMetaStoreClient
类
我导出百度各种解法无果，寻求老师帮助

Answer 1

Michael_PK 2020-03-02 20:43:38

hive和sqoop环境没整合好呢，sqoop里面找不到hive相关的类

• 提问者 不见故里长安 #1

  #Set path to where bin/hadoop is available
  export HADOOP_COMMON_HOME=/root/app/hadoop
  
  #Set path to where hadoop-*-core.jar is available
  export HADOOP_MAPRED_HOME=/root/app/hadoop
  
  #set the path to where bin/hbase is available
  #export HBASE_HOME=
  
  #Set the path to where bin/hive is available
  export HIVE_HOME=/root/app/hive
  
  我在sqoop里配置了Hive，还需要做什么其他配置吗

• Michael_PK 回复 提问者 不见故里长安 #2

  这个导入hdfs应该OK，但是hive可能还不够，这样的话很大可能还是找不到hive相关依赖的包。你还需要根据报错信息把相关的jar丢到lib下去