hadoop3性能提升与spark

Question

老师，这里官方提到hadoop3 特性mapreduce性能提升了30%，是不是说现在spark2.0运行在hadoop3也跟着变的更快了（我可能理解错了），就想问问老师 spark 在Hadoop3与Hadoop2中的比较

Answer 1

Michael_PK 2020-03-06 21:12:15

提升30%的依据是什么？spark可以结合自己的hadoop版本进行编译的

• 提问者 harry8933 #1

  就是老师视屏里提到的
  
  MapReduce has added support for a native implementation of the map output collector. For shuffle-intensive jobs, this can lead to a performance improvement of 30% or more.
  这个本地实现的优化

• Michael_PK 回复 提问者 harry8933 #2

  我看错了。不好意思。我以为你说的是hadoop3对比spark呢。这个是Mr的性能有提升。