有一个问题我有些想不明白，sparkSQL和直接将数据转化成传统的map，List等集合再进行数据统计优势在哪里？

Question

输入正文

Answer 1

Michael_PK 2022-08-31 20:45:19

可以具体举个场景对应的例子吗？ 我没太理解你这个问题的意思

• 提问者 BillyWebber #1

  就比如说，我通过kafka采集到一堆JSON数据，按照spark的思路，会使用SparkSQL对这些JSON数据直接进行筛选，那如果我将采集到的JSON数据直接将他转成List集合然后再进行筛选，这两种筛选方式使用SparkSQL的方式性能上有什么优势呢？

• Michael_PK 回复 提问者 BillyWebber #2

  你的数据转成list，list是一个集合，本身并没有分布式计算的并行处理的能力。如果使用spark去处理，不管是core还是streaming还是sql，只要数据接入进来后，默认都具备分布式计算的能力的，