【讨论题】关于数据倾斜的思考
916
等4人参与

在大数据处理过程中,无论你使用的是MapReduce、Hive、Spark、Flink等框架时,都会遇到数据倾斜的问题,请大家谈谈自己对于数据倾斜得思考

提示:
1) 什么是数据倾斜
2) 数据倾斜的现象有哪些
3) 通过什么方式定位到作业性能慢是由数据倾斜产生的
3) 你在哪些场景下遇到过数据倾斜,以及你是如何解决的

我的作业
去发布

登录后即可发布作业,立即

全部作业

(1)数据的分散度不够,导致大量的数据集中到了一台或者几台机器上计算(又称数据热点问题),这些数据的计算速度远低于平均速度,成为整个计算过程的短板。

(2)Shuffle是一个能产生奇迹的地方

(3)

0
评论
提交于  2023-04-18 13:44:33

登录后即可查看更多作业,立即

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号