sparksql或者DataFrame大批量修改数据？

Question

scala操作dataframe可以批量修改字段数据吗？比如把DF_1的字段数据替换成DF_2种某个字段的数据。

sparkSQL可以完成这样的操作吗？可是尝试SQL的update根本不行啊。难道sparkSQL不支持update？那岂不是很尴尬。。。。。。

Answer 1

Michael_PK 2017-10-13 17:41:44

用个udf函数，也是可以搞定的，但是只是计算的时候操作，并不会把纸写回去

• 提问者 asdhjhg #1

  老师我想问，可以直接用Python语言加载HDFS上的parquet文件，再用pandas做可视化操作嘛？我试了试好像pandas操作会有错，这个是不支持还是操作有误?

• 提问者 asdhjhg #2

  老师如果数据出现高度的正偏态分布，那么这个数据需要做什么处理吗？

Answer 2

Michael_PK 2017-10-13 17:13:52

spark分布式计算框架，计算，不适合那种修改的

• 提问者 asdhjhg #1

  那这种操作如果想要实现，有没有较好的解决方法呢？把大数据存入到数据库再用SQL？？？

• Michael_PK 回复 提问者 asdhjhg #2

  你可以用spark完成，相当于a数据经过df操作变成b，b就是你要的结果