问个菜鸟的问题，就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的？

Question

就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的？ 就是不明白spark的计算过程是在哪里执行的，因为如果用spark cluster提交作业的话 提交完了就可以直接关闭spark了 那以后的计算过程肯定就是跟yarn上执行的么？还有就是如果spark配置成集群的方式 计算过程如果在spark完成 那跟yarn还有啥关系？对不起，老师问的有些菜鸟

Answer 1

like4638 2017-11-14 22:42:04

yarn不是拿来计算的，他就是一个资源调度分配的框架，他只是为作业分配对应的资源

• 提问者 慕盖茨3418172 #1

  那计算的过程是跑在哪里的

• like4638 回复 提问者 慕盖茨3418172 #2

  Worker节点啊

• 提问者 慕盖茨3418172 回复 like4638 #3

  比如配置了 spark的master worker 集群 然后把作业提交到yarn上面 然后yarn来分配spark的worker节点工作 是这意思吧 yarn仅仅是喷配调度是把？

点开查看后面2条评论