请稍等 ...

Spark Streaming作业是运行在yarn上吗？

Spark Streaming作业是运行在yarn上吗？

慕函数0552834 2022-04-18 21:37:11

源自：6-6 -从词频统计功能着手入门Spark Streaming

519

收起

提交取消

1回答

Michael_PK 2022-04-20 17:01:57

可以，spark都运行模式：本地、standalone、yarn、k8s都可以。只要提交时指定--master就行了

0 回复有任何疑惑可以回复我~

相似问题

关于在yarn上submit

请问老师，这个技术架构为啥没有用到yarn呢？mr作业不是说要提交到yarn上运行吗？

问个菜鸟的问题，就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的？

Spark高可用

关于Spark运行模式：YARN

登录后可查看更多问答，登录/注册

Spark Streaming实时流处理项目实战

参与学习 1404 人
解答问题 571 个

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

了解课程

本课精华内容

问答

读英语的时候能不能不要propertie撕，topic撕

1.8k 89

cannot assign requested address

1.2k 14

kafka生产者消息发不出去

2.4k 13

kafka.serializer.StringDecoder死活导不进来

1.8k 12

spark streaming运行较长时间后报错kafka.common.OffsetOutOfRangeException

2.5k 12

查看更多本课问答

意见反馈帮助中心 APP下载