采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
spark-submit --class com.demo.spark.log.SparkStatCleanJob --master local[2] --files /home/xingtb/lib/ipDatabase.csv,/home/xingtb/lib/ipRegion.xlsx sql-1.0-jar-with-dependencies.jar
我用–files 最后还是找不到这个ipRegion.xlsx,这是什么原因啊
打包后jar包里面的内容:
打包成jar以后,实际上文件是存在于jar这个文件里面的资源文件。在磁盘是没有真实路径的。所以通过 this.getClass().getResource("");方法无法正确获取文件。
而InputStream inputStream=this.getClass().getResourceAsStream("");会指定要加载的资源路径与当前类所在包的路径一致。
只能重新源码了
我有点记不清了,提交的时候使用files指定这文件的所在路径好像可以,前提是这文件也传到Linux上去
这个文件在你的项目里面的resources下有吗?注意resouces文件夹的类型
有的啊,我是windows的,本地保存parquet文件有问题,所有我就打包放到Linux上去运行了,结果一直报这个文件找不到
登录后可查看更多问答,登录/注册
快速转型大数据:Hadoop,Hive,SparkSQL步步为赢
1.5k 6
1.7k 6
1.9k 1
1.1k 21
1.4k 18