sparkSql--函数decode无效

Question

使用decode无法将%23解析为#,代码如下：
val rdd = spark.sparkContext.parallelize(List(“1104319%231104317”,“1104319%231104318”,“1104317”))

import spark.implicits._
val rs = rdd.map(People(_)).toDF()
rs.select(decode($"name","utf-8")).show(false)

结果如下：
±------------------+
|decode(name, utf-8)|
±------------------+
|1104319%231104317 |
|1104319%231104318 |
|1104317 |
±------------------+

Answer 1

提问者 慕前端5264115 2019-02-25 15:17:37

自定义UDF就可以转义：

val decodeCustom = udf((ids: String)=>{
   URLDecoder.decode(ids,"utf-8")
})

调用如下：

rs.select(decodeCustom($"name")).show(false)

结果如下(可以将%23转义为#）：

+---------------+

|UDF(name)      |

+---------------+

|1104319#1104317|

|1104319#1104318|

|1104317        |

+---------------+

Answer 2

提问者 慕前端5264115 2019-02-25 15:14:23

转义？没有太明白，直接加斜杠？

• Michael_PK #1

  %23我的理解进来不应该是这样的，而是加了转移字符后才进来的

• 提问者 慕前端5264115 回复 Michael_PK #2

  线上的日志确实是对数据作了encode存储的，我拿到数据后需要先decode，但是decode未生效

• Michael_PK 回复 提问者 慕前端5264115 #3

  写个单元测试看看为什么decode无效，是否是代码问题

Answer 3

Michael_PK 2019-02-25 15:10:22

特殊字符是要使用转义的