通过spark SQL 的API访问我的DataFrame出错

Question

我的代码

可以正确执行结果如下

可是如果我把sql修改一下  改成  select count(1) from infos_table where category = 'upload' 

就会报下面的错误，

请问是不是 spark sql 在书写的时候跟传统的sql有一些区别呢？这些在哪里可以查询到？

Answer 1

Michael_PK 2018-06-07 18:38:50

你这是有列格式不对啊，-不能转成数值类型。。。。 检查下

• 提问者 慕的地5108060 #1

  非常感谢！

Answer 2

提问者 慕的地5108060 2018-06-07 19:00:53

谢谢老师，是说基本sql的语法都能正常执行吗？我刚才改了我的代码，，修正了数据转化的问题。

select cmsType,count(1) as totle from infos_table group by cmsType order by totle desc

我这样写也能正确返回结果了。谢谢老师

再问一句。这种使用sql 方式查询如果对于数据量比较大的结果。是不是有效率问题？还是说可以跟rdd的方式效率差不多？

在实际工作中更倾向使用哪种方式呢？

• Michael_PK #1

  推荐用spark SQL，这比rdd性能更好，因为底层有优化