采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
Error while encoding: java.lang.RuntimeException: java.lang.Integer is not a valid external type for schema of string
找了半天也没找到哪里错了
后来我怀疑是parseLog方法中的错误 导致catch到了Row(0),我把try catch去掉了,于是又报了数组越界的错
可是并没有发现哪里越界了,这回该怎么解决呢?
你的地址咋写的
F:\BaiduYunDownload\11.11 log\clean 写成这样了。。
反斜杠试试
还是报这个错。
我怀疑是catch到了row(0),所以报这个错,把try catch删掉后,报了数组越界的错,数组越界后我debug了下,前面完全没问题,我怀疑是数据的问题,之后我就把access.log这个日志截取前20行,就不报错了。截取1000行也不报错,目前是这么解决的,有同学遇到同样问题可以想老师说的,去linux上跑一下试试。
我把catch里面的row(0) 改成row("","",0l,0l,"","","","")就木有报错了。。但是还是觉得奇怪,觉得前10000数据没有问题诶。。。
为什么会catch到呢。。。
是啊我也觉得奇怪。不知道怎么去找那个不对的数据
登录后可查看更多问答,登录/注册
快速转型大数据:Hadoop,Hive,SparkSQL步步为赢
1.5k 6
1.7k 6
1.9k 1
1.1k 21
1.4k 18