请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

在做第三章 fileSystem.open 的案例报错Could not obtain block

1.环境

JDK版本:JDK8
系统: CentOS Linux release 7.6.1810 腾讯云服务器
部署的hadoop版本:2.6.5

2.简要描述

   从错误堆栈信息来看,是找不到绑定块,但是我登录服务器查看,是能找到
BP-1587748039-10.163.13.96-1550778171456:blk_1073741830_1006 file=/testGetMerge.txt.
也仔细核对过,通过hadoop 命令可以查看到文件的信息.
   经过debug,底层无法建立tcp连接,但是chooseDataNode()方法执行后能拿到节点的地址,唯独建立不了连接..
   由于使用的是云服务器,有对外的公网ip 与内网ip,获得FileSystem时是通过公网ip+8020端口,debug调试时发现chooseDataNode()方法返回的是内网ip+50010端口,随后通过BlockReaderFactory的build()方法里建立连接时失败.
   我觉得是这个内网ip无法访问造成的,请问hadoop中有没有什么配置项可以配置ip.
   我通过ifconfig查看了网络信息,只有内网的ip.

3.错误的堆栈信息如下:

	org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1587748039-10.163.13.96-1550778171456:blk_1073741830_1006 file=/testGetMerge.txt
	
	at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:930)
	at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:609)
	at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:841)
	at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:889)
	at java.io.DataInputStream.read(DataInputStream.java:100)
	at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:78)
	at com.itdoge.bigdata.hadoop.hdfs.HDFSApp.textTest(HDFSApp.java:56)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:47)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:44)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:26)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:27)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:271)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:70)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:50)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:238)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:63)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:236)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:53)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:229)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:309)
	at org.junit.runner.JUnitCore.run(JUnitCore.java:160)
	at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:68)
	at com.intellij.rt.execution.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:47)
	at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:242)
	at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:70)



正在回答

4回答

你用hadoop fs命令能访问这个文件吗,查看这文件的内容,能成功吗

0 回复 有任何疑惑可以回复我~
  • 提问者 我上5年级 #1
    嗯,我ssh 登录到服务器上通过hadoop fs text命令是可以查看文件内容的.而且通过HDFS API的mkdir()是可以创建目录的.唯独读取数据的时候不行...我一步一步的debug了,确定是无法建立socket的链接,看到选择数据节点的时候的ip是内网的10开头的地址,所以无法建立连接....太纠结了.... hadoop一次无法建立连接还会尝试多次,最终超过最大失败次数才返回的.
    回复 有任何疑惑可以回复我~ 2019-02-22 13:46:04
  • Michael_PK 回复 提问者 我上5年级 #2
    你重新hadoop fs -put一个文件到文件系统,然后再使用hadoop fs -get方式看看能获取吗?如果能获取 再使用api的方式。 个人不建议使用云主机的,因为各种东西需要放开,所以课程才提供一个vm给学员们使用
    回复 有任何疑惑可以回复我~ 2019-02-22 14:10:13
  • 提问者 我上5年级 回复 Michael_PK #3
    已经这样操作过了,通过api还是无法获得. hadoop对我这种跨网段的场景是不是得额外配置呀? 现成的环境不好玩,系统自己装,才能踩坑,实在不行再用提供的vm吧. -0-
    回复 有任何疑惑可以回复我~ 2019-02-22 14:53:16
qq_君君晨晨_0 2019-11-05 21:59:06

用的阿里云也是这个问题,看这个博客解决的

https://blog.csdn.net/vaf714/article/details/82996860

1 回复 有任何疑惑可以回复我~
  • 在熟悉云主机的基础上才行,不然一堆问题
    回复 有任何疑惑可以回复我~ 2019-11-05 22:07:23
  • 你好,方便介绍一下您是怎么解决的吗?按照这个博客做了一下,还是报错。端口也打开了,本地映射也添加了, configuration.set("dfs.client.use.datanode.hostname", "true"); 这句加在哪里呢?
    回复 有任何疑惑可以回复我~ 2020-06-21 09:14:23
  • dfs.client.use.datanode.hostname下面补一行configuration.set("dfs.client.use.datanode.hostname", "true")即可
    回复 有任何疑惑可以回复我~ 2021-07-20 11:17:07
crownchris 2019-07-08 00:22:35

如果是网络不通为啥能创建文件成功?我也遇到了这个问题

0 回复 有任何疑惑可以回复我~
  • 首先能否全部都通过外网访问,其次各大云产商的主机设置都不太一样。个人不建议学习的时候使用云主机,各种各样乱七八糟的以前的学员遇到太多了,很多问题都得找产商的售后了解,最后很多都回到了本地VM或者Mac上操作
    回复 有任何疑惑可以回复我~ 2019-07-08 01:27:16
Michael_PK 2019-02-22 13:38:39

云服务器的有些端口外面试访问不了的,需要开通才行

0 回复 有任何疑惑可以回复我~
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信