请稍等 ...

spark 提交任务执行失败

Diagnostics: Not able to initialize app-log directories in any of the configured local directories for app application_1647075705220_0001

图片描述
我的Handoop 全都启动的 spark 用的是老师提供的编译好的包，wordCount 程序在本地可以跑

两万七千历 2022-03-12 18:06:57

源自：6-7 Spark部署及服务器端测试

543

收起

提交取消

1回答

Michael_PK 2022-03-12 18:35:18

1）检查YARN UI，看看上面的RM NM是否正确

2）直接跑一个MR的wordcount到yarn，看看是否你的yarn就有问题，进而引发你这里的spark作业根本提交不上去

0 回复有任何疑惑可以回复我~

相似问题

请问当队列满了之后，线程池会创建线程，那么新创建的线程还是会消费队列头的任务，刚提交的任务进任务队列，还是直接运行刚提交任务？

宏任务微任务

老师，这边接口请求业务失败为啥要promise.reject?

quartz定时任务暂停、手动执行一次、编辑、删除，卡住

执行shutdown() shutdownNow方法，任务如何处理

登录后可查看更多问答，登录/注册

Spark3实时处理-Streaming+StructuredStreaming实战

参与学习 336 人
解答问题 238 个

实战Spark3实时处理，掌握两套企业级处理方案

了解课程

本课精华内容

问答作业

Hbase本地idea查询卡死

1.8k 15

使用foreach方法保存offset相关信息时，offset相关信息必须作为groupby参数传递，统计结果表不能聚合

1.1k 15

报错

1.2k 12

报错ClassNotFoundException: org.apache.但是这个HTTPCLIENT在我的POM里已经导入了

909 11

调用2次foreach方法分别保存到redis的2个key时,只有第2次保存成功

1.2k 9

查看更多本课问答

意见反馈帮助中心 APP下载