请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

map和mapPartition

回答1 浏览86 2020-10-12 21:28:33

老师你好,
map():每次处理一条数据
mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放
咱这个peopleDetail.mapPartitions(x=>{。。。。
中为啥要用mapPartition呢。这个表的分区数据体现到哪了呢?不太明白

添加回答

1回答

SparkSQL极速入门 整合Kudu实现广告业务数据分析

难度中级
时长17小时
人数370
好评度98.4%

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

讲师

Michael_PK 全栈工程师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

意见反馈 帮助中心 APP下载
官方微信