使用Java api上传hadoop服务器文件报错。

Question

两个方法，新建文件夹没问题，上传文件的时候报错了。本机hosts也配置过了，webUI显示没问题

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsApi01/data1 could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

Answer 1

提问者 慕移动7194112 2024-01-12 14:46:36

耗时1天解决，需要服务器开放端口 9866 。。。

• Michael_PK #1

  如果是云主机的话，我给你总结下几个地方：
  
  1）hdfs-site.xml 中添加dfs.datanode.use.datanode.hostname为true
  
  2）代码层面要设置参数dfs.client.use.datanode.hostname为true
  
  3）云主机安全策略把需要的端口打开，我记得好像是9870、8020

Answer 2

提问者 慕移动7194112 2024-01-11 14:14:08

data1文件进来了，但是内容没有

• Michael_PK #1

  你原始的数据内容是什么？确定有东西吗
  你用命令把hdfs上的文件打开看看