spark2.3及以后的版本中，python支持datasetAPI吗？

Question

spark2.3及以后的版本中，python支持datasetAPI吗？

Answer 1

Michael_PK 2020-06-23 09:51:48

不支持。具体可以查看官网上的描述。

• 提问者 jamko #1

  非常感谢！

Answer 2

提问者 jamko 2020-06-23 11:23:33

实际生产中，有哪些应用场景需要用到dataset的？如果有，那python不是无用武之地

• Michael_PK #1

  生产上的spark做处理和分析那基本都是Scala或者Java的，只是在某些分析的场景用下PySpark

• 提问者 jamko 回复 Michael_PK #2

  那我除了pyspark，还需要再学java的spark

• 提问者 jamko 回复 Michael_PK #3

  spark一般和哪种DB结合比较多，HBase和Mysql用的多吗？取数是不是一般在HDFS上，因为它是分布式的？

点开查看后面5条评论