分布式配置测试

Question

你好，老师，在自学过程中，是不可能有那么昂贵的集群测试，可以有些内存2G-4G的机器做测试，大约十几台，请问这样的集群，能够发挥 10 * 2 =20G 的运算效果吗，前期测试分布式配置应该多讲一些，当前讲的都是在单机上操作，分布式的一些注意事项没有讲到，希望详细回答这个问题

Answer 1

提问者 慕运维7479159 2017-12-29 18:23:51

老师我说的应该是Spark 的分布式运算，就是添加机器，添加运算力，不知道理解的对不对

• Michael_PK #1

  spark onyarn的话就是跑在hadoop集群上，就一个spark submit就行了

• Michael_PK #2

  理解的没毛病

Answer 2

提问者 慕运维7479159 2017-12-29 18:17:46

老师，我是由C#转的，所以对于大数据都是JAVA平台，所以我说的是分布式运算，分布式运算，比如用一台机器一个小时运算，用两台机器就是半个小时，这个效果应该能够达到吧，听了这么长时间的课，我觉得受益颇丰，但是对于分布式的配置有可能还是需要上手测试一下的，老师讲的还是需要消化一下的

Answer 3

Michael_PK 2017-12-29 15:24:11

分布式仅仅就是多些机器，使用和单机一样一样的

Answer 4

Michael_PK 2017-12-29 15:23:40

hadoop分布式我是详细讲了的，spark作为客户端仅仅是客户端就不需要分布式，我不清楚你说的分布式没讲是什么意思

Answer 5

Michael_PK 2017-12-29 15:22:36

其实2-4g的也起不了大作用，凑合用

Answer 6

Michael_PK 2017-12-29 15:22:10

学习的时候单机就行了，有条件就多点，越多越好