关于transform函数

Question

看到这一节的时候，我想到transform函数那一节。那里执行的黑名单过滤操作，利用foreachRDD方法，对当前DStream的每个RDD进行同样的操作也是可以的，也就是通过这种方式同样可以实现
lines.foreachRDD(rdd =>{
val result = rdd.map(x=>(x.split(",")(1),x)).leftOuterJoin(blacksRdd)
.filter(x=>x._2._2.getOrElse(false) !=true).map(x=>x._2._1)
result.foreach(x=>println(x))
那么为什么还一定要加入transform函数呢？不太理解

Answer 1

Michael_PK 2019-08-01 13:23:50

实现方式有多种，transform是tranformation算子，foreachRDD是output算子，这是两种不同的方式，一般情况下很多操作都是transforamion算子中完成的，所以必须得用transform算子