ALSModel alsModel = ALSModel.load("file:///E:/learn/es/dianpingFile/alsModel");

Question

老师，好！
在Windows10环境下，通过IDEA执行：
ALSModel alsModel = ALSModel.load(“file:///E:/learn/es/dianpingFile/alsModel”);报如下错误，麻烦帮忙看一下（感觉像是解析路径的问题）：
Exception in thread “main” java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F E:\learn\es\dianpingFile\alsModel\metadata\part-00000
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:762)atorg.apache.hadoop.util.Shell.execCommand(Shell.java:859)atorg.apache.hadoop.util.Shell.execCommand(Shell.java:842)atorg.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097)atorg.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:587)
at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission(RawLocalFileSystem.java:562)
at org.apache.hadoop.fs.LocatedFileStatus.(LocatedFileStatus.java:47)
at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1701)
at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1681)
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:268)
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:313)
我的spark配置：


org.apache.spark
spark-mllib_2.12
2.4.4


com.google.guava
guava

    <dependency>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
        <version>14.0.1</version>
    </dependency>

Answer 1

XJ1224 2021-11-27 17:16:28

要下个 hadoop.dll 文件，windows下就能解决

Answer 2

小南风oo 2021-01-23 21:37:25

老哥解决了吗 报了一样的错

Answer 3

superLiuLiuLiu 2020-05-14 00:06:41

我认为还是windows和linux文件系统不同的问题，简单的说就是ALSModel无法load ALSModel下的一系列文件，因为windows不支持ls -f命令。

我这有一个解决办法就是，直接利用第一步生成的ALSModel进行预测并存储到数据库，而不是先保存成文件，在加载的方式。这样问题可以解决。

Answer 4

viwq 2020-03-23 17:22:18

咋回事啊,解决了吗

Answer 5

穿旗袍的姑娘 2020-01-26 20:24:50

老兄，这个问题最后怎么解决的

Answer 6

龙虾三少 2020-01-10 12:16:01

检查下对应报错路径的文件是否存在 权限是否正确