请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

Spark Streaming 的日志

回答1 浏览98 2020-10-12 06:06:56

老师您好,现在我想学习用nohup 后台跑spark-submit 的任务,刚开始是正常的,jps也能看到,但是开了一会以后自己退出了,看不到错误的信息,请问这个日志是输出到哪里了呢?那个 nohup.out 是空的…

添加回答

1回答

  • 你这么测试,一个脚本里面echo东西的,你用nohup启动,将日志输出到一个文...
    2020-10-12 06:57:14
    • 提问者 Stefan章晓风 #1
      老师你的意思是写一个sh脚本吗?在脚本里面执行nohup? 我用的云主机,监控的情况也没有用到很多,4个G内存吃了6成。
      2020-10-12 11:10:55
    • Michael_PK 回复 提问者 Stefan章晓风 #2
      4g的话,Hadoop一套,sparkonyarn,还有其他的,应该是不够了。你可以看看现在机器内存还剩多少。这个情况很大可能就是内存不够被干掉了
      2020-10-12 12:17:32
    • 提问者 Stefan章晓风 回复 Michael_PK #3
      老师我没有用spark on yarn, 我直接用的spark submit. 然后flume, 平均占用也就65%.
      2020-10-12 21:28:05

Spark Streaming实时流处理项目实战

难度中级
时长16小时
人数1404
好评度98.9%

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

讲师

Michael_PK 全栈工程师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

意见反馈 帮助中心 APP下载
官方微信