SETMaster解析一直失败

Question

老师，您好:
我的环境！！！
我的本机电脑是win7环境，IDE使用的是Eclipse。
我在本机电脑中使用VMware搭建了一个虚拟机: CentOS6 JDK8 32位，网络IP是192.168.224.190(自己设置的)
我在搭建的虚拟机中按照你的教程部署了一个单机版的spark，可以正确使用spark-shell，通过将spark_local_ip由127.0.0.1修改为192.168.224.190，也可以正常的在本机浏览器上通过访问192.168.224.190:4040查看spark web ui
重点如下！！！！
我在本机eclipse编写wordcount时，setmaster怎么写也不对，我尝试了直接写192.168.224.190，也尝试了配置host的方式，还是会报如下错误: Exception in thread “main” org.apache.spark.SparkException: Could not parse Master URL: '192.168.224.190’
希望老师给予解答，如果这个弄不好感觉会后边的实践也不好做！！！

Answer 1

提问者 Sky_YiBai 2019-02-12 18:22:37

谢谢老师的回答，我还是有些问题。

按照你上边说的，我也觉得应该是第二种写法: spark://ip:port，我的ip肯定是写192.168.224.190，port应该写什么呢？

而且我比较疑问的是，按照你教程说的安装完spark单机版之后，spark本身并没有启动，当启动了spark-shell之后，能够看到有一个java进程存在，通过netstat查看该进程的端口等信息有如下截图，我把port写成4040端口后，发现spark-shell中会基于http协议接收到一些格式不正确的数据，所以一想4040本身是web ui的端口，我们要找的应该是一个tcp端口把

[root@SparkOne ~]# jps

2688 Jps

2620 SparkSubmit

[root@SparkOne ~]# netstat -nap|grep 2620

tcp        0      0 ::ffff:192.168.224.190:4040 :::*                        LISTEN      2620/java           

tcp        0      0 ::ffff:192.168.224.19:52532 :::*                        LISTEN      2620/java           

tcp        0      0 ::ffff:192.168.224.19:34837 :::*                        LISTEN      2620/java

• Wotchin #1

  这里只是单机形式的，所以只能看到4040端口。你可以采用分布式形式部署，使用shell脚本启动集群，Master默认的端口号是7077，配置方法可以查看这里
  
  https://www.cnblogs.com/mstk/p/6694457.html

• 提问者 Sky_YiBai 回复 Wotchin #2

  哦哦。那这种单机的形式，我访问spark://192.168.224.190:4040，为什么spark-shell会报错？

• 提问者 Sky_YiBai 回复 Wotchin #3

  我理解我和你教程的区别只是你把java客户端和spark环境是同一台机器，而我的是局域网内的两台机器

点开查看后面7条评论

Answer 2

Wotchin 2019-02-12 16:49:54

setMaster有这么几个写法，
对于单机的，可以写成
setMaster(“local[4]”)表明使用的核数
setMaster(“spark://localhost:7077”)
如果是在yarn上使用，可以写成
setMaster(“yarn-cluster”)

你应该是没有指定端口号和协议类型，按照第二种写法改一下应该就行了

• 提问者 Sky_YiBai #1

  谢谢老师的回答，我还是有些问题。
  您看下我写的另外一个回答，在这里直接写文本格式会乱

• 提问者 Sky_YiBai #2

  123