win清洗存储到目标地址报错

Question

WARN FileUtil: Failed to delete file or dir [D:\study\hadoop\test_data\log2\clean2\_temporary\0\_temporary\attempt_20180620225042_0004_m_000000_0\day=20170511\.part-00000-b96f4731-a16d-4660-bfe1-4cb3ec4aba7c.snappy.parquet.crc]: it still exists.

Answer 1

小刚asdf 2018-06-21 09:57:29

临时文件手动删除，在运行一遍试试。

• 提问者 火力全开dung #1

  非常感谢！

Answer 2

Michael_PK 2018-06-21 17:16:36

那就是没删除干净，建议在Linux上试试，window上各种千奇百怪的问题

• 提问者 火力全开dung #1

  恩恩,谢谢老师

Answer 3

提问者 火力全开dung 2018-06-21 10:25:13

临时文件删除了，试了还不行，每次新建个路径保存还是报这个错。谢谢

• 小刚asdf #1

  file:///F://test//data//out//compress  我的目标地址是这样写的，没有报错，保存的方法是df.write.mode("overwrite").parquet(filePath)

• 提问者 火力全开dung 回复 小刚asdf #2

  回复 小刚asdf:  是windows 下需要设置这个文件winutils,,,还是灰常的感谢你的回复,谢谢!!工作顺利

• Michael_PK 回复 提问者 火力全开dung #3

  对，win需要你说的那个，我上课环境是Mac，所以不需要