老问题could only be replicated to 0 nodes instead of minReplication (=1).

Question

我是腾讯云买的服务器centOs 7

防火墙开启了这些端口 50070 50010 8020 3306 80 22

Datanode的启动日志全是INFO没有报错

Hdfs-site.xml配置

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

Core-site.xml的配置

<!--127.0.0.1 localhost 不能外部访问-->

<!--ip  不能开启-->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://0.0.0.0:8020</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/root/app/tmp</value>

</property>

</configuration>

Jps查看确实都有进程

后台看也有

初始化namenode很多次了，有删除文件夹初始化的

 

 

就几乎百度上有的方法我都试过了，还是报错

Java代码和老师的一样。还有没有什么办法

可以使用创建文件夹和文件，传文件就出问题了

Answer 1

小学生编程 2018-03-19 03:22:18

你这个问题 时防火墙的问题 

使用 腾讯云或者 阿里云 ，他们在你的机器之外还会添加一层防护

一般在后台设置界面有 配置的地方 看看能不能关闭 或者把端口在后台设置中打开，不仅仅是在你买的云主机上面关闭防火墙

我在虚拟机中 开启防火墙之后 发生的错跟你一样 关闭防火墙 就没问题了

Answer 2

Michael_PK 2018-07-20 20:22:56

其实真不建议你们用云主机，我觉得你们购买的机器肯定是低配的，很鸡肋，各种问题需要自己解决

Answer 3

qq_打劫_0 2018-07-20 19:36:01

解决了。防火墙问题

Answer 4

提问者 卖梳子的鲤鱼 2018-03-08 09:59:47

总结一下。

这个问题暂时还是没修复。

继续学习下去了， 如果没别的影响，就不管了

Answer 5

Michael_PK 2018-03-06 19:34:31

标题的问题，你先检查你服务器的空间是否够，或者是data node节点是否健康，可以查看logs目录下的对应的日志

• 提问者 卖梳子的鲤鱼 #1

  恩， 老师这些我都查过了
  空间足够，节点进程正常，日志无报错。

Answer 6

Michael_PK 2018-03-06 18:19:31

1)你标题那个就是典型的一个错误，此时HDFS应该是不可用。2)如果你是Windows机器，你可以找一个hadoop common的插件来试试看

• 提问者 卖梳子的鲤鱼 #1

  老师， 您说的话我一句都没听懂。。
  1）您是说我这个问题的标题是吧， 确实是很典型， 网上搜索到很多方案， 我就是试了都不行才来提问的。
  2）我是用的idea，您说的插件是不是eclipse用的，其他的依赖包我是用maven下的， 应该没大问题， 而且创建文件夹什么的都是成功的诶

• 提问者 卖梳子的鲤鱼 #2

  我是windows机器， 然后服务器shell执行put是可以上传文件的。

• 提问者 卖梳子的鲤鱼 #3

  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
  还有这后面一句，说是有一个节点运行但是排除在外。。。这是啥情况啊。唯一的节点还不用。fuck

点开查看后面2条评论

Answer 7

提问者 卖梳子的鲤鱼 2018-03-06 18:07:28

服务器硬盘空间足够，配置用local不能用外网访问，所以就换成了0.0.0.0

• 提问者 卖梳子的鲤鱼 #1

  然后试了吧配置文件里的临时文件目录改为
  site.xml里面的   
  
          dfs.datanode.data.dir
          /tmp/hdfs_tmp
  
  与core-site.xml里面的   
  
          hadoop.tmp.dir
          /tmp/hdfs_tmp
  
  然后重新初始化，在执行开启dfs脚本。都正常开启， 然后依然问题存在

• 提问者 卖梳子的鲤鱼 #2

  我的具体报错是这样
  could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

• Michael_PK 回复 提问者 卖梳子的鲤鱼 #3

  这个意思是需要一个副本，但是没有dn了

点开查看后面12条评论