关于2.0之后的sparkSession

Question

spark2.0之后用sparksession作为主要入口那么之前的一些关于sparkcontext的设置比如sparkcontext.setcheckpointdir("/root")在sparksession上怎么设置呢

Answer 1

Wotchin 2019-06-10 20:40:02

spark session是对sparkcontext的封装，二者可以互换。直接调用sparksession实例的sparkcontext属性即可，二者的API并非重合的，譬如这个就是啦