sparkSQL集成springboot做自定义查询

Question

我想弄一个应用给前端传sql，然后sparksql解析这个sql 去查询，再把结果返回给前端。这个要怎么做？

sparksql可以与springboot集成吗？然后启动一个springboot应用，提供rest接口给前端
可以这么搞不？还是有其他方案吗？

Answer 1

Michael_PK 2022-11-06 22:37:31

这个方案不是太可行，分析如下：

1）sparksql严格意义上并不是一个做即席查询的引擎，而是做批处理的。

2）自定义传sql，这根本就不可控数据量有多大、sql复杂度几何，所以根本不知道一个sql要多少时间能执行完，否则直接返回给前端是不太可行的。

3）sparksql和springboot整合，那你还是通过http将sql传给spark执行，这又回到第二点的回复上去了