windows下RDD和DataFrame转换 数值类型转换出错

Question

老师请看上面的代码，此处age如果是int类型就会报错，改成String类型就可以正常输出结果，错误日志如下图

Answer 1

提问者 慕田峪9478274 2018-07-15 07:48:09

此处加上trim()，运行完美通过

Answer 2

Michael_PK 2018-07-14 10:59:12

那是因为有脏数据，你在梳理过程中要进行try catch才行

• 提问者 慕田峪9478274 #1

  老师，我试了，把maven删了重新去官网下了个新3.54的，maven里面scala和spark的版本号也跟你课程上的一样，也重新配置了仓库，确定没有脏数据，代码也重新写了，还是存在同样的问题

• Michael_PK 回复 提问者 慕田峪9478274 #2

  肯定不是你说的问题！你如果用的是上课的多的数据的，肯定就是有脏数据，100%有！！！！因为有小伙伴已经遇到了，肯定需要过滤的

• 提问者 慕田峪9478274 回复 Michael_PK #3

  感谢老师深夜回复，已经找到原因了，在转换之前需要在line(1)后面加trim()去掉空格