spark sql 中可以创建表吧，我想问的是这些数据都存储在内存中了吗？

Question

spark sql 中可以创建表吧，我想问的是这些表数据都存储在内存中了吗？
那根据我的理解，park sql是一个分布式的内存数据库了对吧？跟redis有部分相似，都是基于内存的，分布式的。只是park sql更强大一些，可以做些分布式的运算。支持多数据源。对吗？

Answer 1

Michael_PK 2018-12-13 17:34:48

spark SQL是分布式内存数据库，这句话官网哪里有体现？spark SQL开篇就说了它是一个处理结构化数据的框架

Answer 2

Michael_PK 2018-12-13 17:32:49

存在元数据库里啊。。。。。咋感觉你越学越偏了，还记得hivesite吗？

• 提问者 慕仙4974986 #1

  有些东西还是不懂
  元数据库是什么？

• Michael_PK 回复 提问者 慕仙4974986 #2

  sparksql或者hive的数据，分成2部分：1部分在hdfs，1部分在metastore里

• 提问者 慕仙4974986 回复 Michael_PK #3

  但是我在配置spark sql集群的时候，没有配置任何hadoop的配置项，甚至scala没有安装，hadoop也没有安装，他们的环境变量都没有配置。集群照样可以启动，没有任何问题，这是为什么？spark 不是建立在hadoop或者说hdfs之上的吗？

点开查看后面5条评论