老师,广播变量 与 缓存的区别是什么

Question

老师,广播变量 与 缓存的区别是什么

Answer 1

Michael_PK 2018-07-17 12:26:38

这两个建议先看下官网描述，写的很清楚

• 提问者 慕运维7479159 #1

  非常感谢！

Answer 2

Muller_Lcy 2018-07-17 13:05:52

我讲一下哈（别喷我啊）

广播变量可以减少各个节点间的通信，从而提高效率。

缓存我就不说了，你肯定很清楚了

• Michael_PK #1

  正解！

• Muller_Lcy #2

  其实我还想问问 如果使用broadcast 可以实现在spark 的不同application 中共享数据吗？ 我简单试了一下 好像不行（一定是我的打开方式不对） 不知道 帅老师 以后会不会真的开堂课 讲这个咋实现哦？
  

• Michael_PK 回复 Muller_Lcy #3

  不行的，这是单应用的广播，你如果想多应用，需要借助于第三方的框架，比如alluxio。弱弱问下你在群里吗

点开查看后面2条评论