hdfs 的磁盘 会不会浪费

Question

hadoop 是按 block 存储的，

当时有 hive 的时候，在创建了表 并录入了数据，

底层是什么样子的

会不会造成大量的磁盘浪费

Answer 1

Michael_PK 2017-12-28 14:38:23

如果这点空间都没有，还处理啥大数据！定期清理是需要的，但是不用长期关注这个问题

Answer 2

提问者 qq_Mel_0 2017-12-28 14:43:13

不知道是不是我理解的有问题：

我的理解是这样的，hdfs 每次写入 都会是固定的快，   但是我插入少量数据后，就关闭连接，下次插入数据的时候，是不是就重新插入新的块了，如果我的频繁的这么操作，肯定是有问题的，另外这些数据肯定是重要数据，   你说的清理 应该是整理吧  比如重新打包一并插入。

• Michael_PK #1

  要明白一点：适合处理大的文件，不适合小文件，小文件必然需要定期合并。然后在一定时间内要把数据移动到冷集群去，HDFS只存近期的数据

• Michael_PK #2

  HDFS频繁操作很正常的，分分钟写入几百G都是再正常不过的

• 提问者 qq_Mel_0 回复 Michael_PK #3

  原来我一直理解错了 我以为最终数据都会在hdfs上
  老师 我彻底 迷糊了 您能不能再出个视频 帮助我们解决一些设计方案方面的问题

点开查看后面3条评论