采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
今天用k8s搭建了一个spark集群,成功后于是想搭建一个hadoop集群,但是想到老师说的移动计算,以往正常的spark 的worker和hdfs的data node都在一个节点上且ip相同,当时用k8s的时候每个pod的ip都不一样,那么spark就不知道data node和worker是否在同一节点上,这样就无法做到准确移动计算,我这样理解对吗老师?
这个我真没操作过。
我们生产上也没采用这种方式,我们做了impala和presto等的容器化,大数据基础组件我们不做容器化
登录后可查看更多问答,登录/注册
实战Spark3实时处理,掌握两套企业级处理方案
1.8k 15
1.0k 15
1.2k 12
897 11
1.2k 9