Spark Streaming 的日志-慕课网

1回答

Michael_PK 2020-10-12 06:57:14

你这么测试，一个脚本里面echo东西的，你用nohup启动，将日志输出到一个文件中。这么做的目的是确定你的启动脚本写的对不对。

你是虚拟机吗，有可能是资源太少被干掉了。当然最好是根据上面的思路明确找到日志

0 回复有任何疑惑可以回复我~

提问者 Stefan章晓风 #1

老师你的意思是写一个sh脚本吗？在脚本里面执行nohup? 我用的云主机，监控的情况也没有用到很多，4个G内存吃了6成。

回复有任何疑惑可以回复我~ 2020-10-12 11:10:55

Michael_PK 回复提问者 Stefan章晓风 #2

4g的话，Hadoop一套，sparkonyarn，还有其他的，应该是不够了。你可以看看现在机器内存还剩多少。这个情况很大可能就是内存不够被干掉了

回复有任何疑惑可以回复我~ 2020-10-12 12:17:32

提问者 Stefan章晓风回复 Michael_PK #3
```
老师我没有用spark on yarn, 我直接用的spark submit. 然后flume, 平均占用也就65%.
```
回复有任何疑惑可以回复我~ 2020-10-12 21:28:05

Spark Streaming 的日志