老师，这个Task 的含义我那么一点点懵掉了

Question

我们在讲 术语的时候  我记得很清楚 这个Executor 中 有多个Task 

Task 中有多个 Job     # Task 遇到 Action 算子 产生Job

Job 被拆分成多个 Stage 

Stage 中又 有多个 Task?    #  貌似 死循环了。。。。

我是这么理解的哈 这两个Task 实际是指的是同一个 Task

这些Task 被分成了 多个Job 来执行，每一个Job 中的 Stage 用来真正执行这些Task

我不知道 我这样理解是对还是错？ 

本来已经过了 但还是怕理解错了 赶紧回来补了一遍 确认一下

Answer 1

Michael_PK 2018-07-16 15:44:23

这个Executor 中 有多个Task ：task就是线程运行的，一个executor中可以多线程并行跑，这取决于core的数量。

Task 中有多个 Job ？？？？？  这句话不对吧，一个application中有有多个job，遇到action产生一个job

• 提问者 Muller_Lcy #1

  是我理解错的。。。 我改了一下 你看看这次的 对的了没？
  一个Spark 应用程序 有一个Driver + 多个Executor 
              Executor 可以运行在 集群中的任何一个Work Node节点
              Executor 中运行多个Task
              Task 从 Driver 端 发送到 Executor 中执行
              Task 遇到Action 的时候 就会形成Job
              Job 被拆分成多个 Stage
              Stage 用来执行 Task

• Michael_PK 回复 提问者 Muller_Lcy #2

  恩恩啦