@udf自定义函数出错

Question

系统：windows
python：3.7
pyspark 2.4.0

老师，这里我在windows上使用@udf自定义的函数来处理数据之后，所得到的表格都不可以使用.show()方法了，这是什么原因呢？谢谢老师解答啦

Answer 1

Daniel 2022-03-16 20:32:17

确定这个toArray 和 tolist的写法是正确的么？可以把它拆开分步试试

Answer 2

Daniel 2022-03-16 20:30:19

这个应该是数据处理的时候出错了。你把具体的错误信息都发一下

• 提问者 太学 #1

  Py4JJavaError: An error occurred while calling o1297.showString.
  : org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 45.0 failed 1 times, most recent failure: Lost task 1.0 in stage 45.0 (TID 297, localhost, executor driver): java.io.FileNotFoundException: C:\Users\Administrator\AppData\Local\Temp\blockmgr-56bd1b83-22fc-4e51-b447-6e99c922b769\32\temp_shuffle_57a3a589-abde-4931-8502-d4735af76f92 (系统找不到指定的路径。)

• 提问者 太学 #2

  Py4JJavaError                             Traceback (most recent call last)
  d:\Desktop\AniRec\data_anlysis\spark.py in <module>
        79 
       80 res_df = anime_df.join( rating_res_df, on='anime_id' )
  ---> 81 res_df.show(10)

• 提问者 太学 #3

  麻烦老师了

点开查看后面1条评论