压缩的数据是不是有问题啊，程序报空指针异常

Question

压缩的数据是不是有损坏啊，程序报空指针异常？运行测试数据没有问题。

代码就是简单的读取数据，然后输出，中间没有任何处理过程。
System.setProperty(“icode”, “BE6DD1FA1FC03060”)
val input = s"hdfs://hadoop1:9000/access/20190130/*"
var logDf = spark.read.format(“com.imooc.bigdata.spark.pk”).option(“path”, input).load()
val l = logDf.count()
println(l)

Answer 1

Michael_PK 2020-11-07 23:28:36

应该是数据有问题，代码贴下看看

• 提问者 qq_越_5 #1

  我代码就是简单的读取数据，然后输出，中间没有任何处理过程。如果我直接用textFile读取数据，是没有问题。

• Michael_PK 回复 提问者 qq_越_5 #2

  你直接把数据放到本地目录测试，不放在hdfs上。还有就是那个IP库的文件放的目录和视频中是一模一样的目录不

• 提问者 qq_越_5 回复 Michael_PK #3

  测试数据中IP是可以解析出来的，说明IP解析是没问题的。但是换成了成了真正的数据之后就出问题了。数据无论放在哪里都是相同的错误。最开始是OOM的问题，后来我调大了JVM的内存，就变成了空指针异常

点开查看后面1条评论