采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
今天用k8s搭建了一个spark集群,成功后于是想搭建一个hadoop集群,但是想到老师说的移动计算,以往正常的spark 的worker和hdfs的data node都在一个节点上且ip相同,当时用k8s的时候每个pod的ip都不一样,那么spark就不知道data node和worker是否在同一节点上,这样就无法做到准确移动计算,我这样理解对吗老师?
这个我真没操作过。
我们生产上也没采用这种方式,我们做了impala和presto等的容器化,大数据基础组件我们不做容器化
登录后可查看更多问答,登录/注册
实战Spark3实时处理,掌握两套企业级处理方案
2.2k 15
1.3k 15
1.6k 12
1.2k 11
1.5k 9
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号