生产上，存入HDFS的一个文件一般多大？

Question

我的看法：

1.太小，namenode负担很重。

2.太大，副本为3的话，只保存在3个节点，造成其他结点数据分布不均匀。

Answer 1

Michael_PK 2021-05-29 23:11:43

HDFS不怕文件大，因为都是按blocksize自动切的

反之怕文件小，小文件过多，nn的内存压力就大

太大，副本为3的话，只保存在3个节点，造成其他结点数据分布不均匀。这个，HDFS存储有自身的均衡功能的。存数据到hdfs时，hadoop能知道存到哪个节点上更合适的了。

• 提问者 程研板 #1

  意思就是，一个文件有多个block的话，上传文件时，一个block上传完了，下个block上传前又会重新计算要上传的3个节点吗？

• 提问者 程研板 #2

  我开始以为是一个完整的文件传完后，传下一个文件时，才重新计算3个节点🤣🤣

• Michael_PK 回复 提问者 程研板 #3

  传的时候自己就会知道传哪  然后记录在元数据信息中。