Spark高可用

Question

1. spark on yarn 的时候需不需要搭建spark HA 因为我即使不搭建也不启动spark, 也可以使用./spark-submit命令提交到yarn上 所以这个spark HA搭建的用途在哪里Standalone 模式和 Yarn模式一起使用吗
2. 线上架构一般是 Hadoop HA 然后在azkaban执行批处理 spark on yarn这样吗

Answer 1

Michael_PK 2022-01-09 17:26:16

1： spark作业一个客户端，提交作业到yarn上运行，只要保证yarn的ha就可以了。  这个不是spark的ha，spark ha是针对spark standalone模式来说的。 不会一起使用

2： 对的，就是hadoop ha，然后调度到yarn上运行就可以了

• 提问者 王虎i #1

  是使用Azkaban执行批处理吗？ 
  如果一个任务半个小时执行一次，是在Azkaban上配置半小时执行，还是全体执行在代码里设置Minutes(30)呢？
  Azkaban也需要搭建HA吗？

• Michael_PK 回复 提问者 王虎i #2

  Azkaban是调度框架，不是批处理，是通过Azkaban把批处理作业调度起来
  Azkaban生产上肯定要HA的