批归一化的参数量

Question

老师我想问一下如何计算batch normalization所需的参数量。在CNN中BN 的参数量是否还和该层卷积核的数量有关？

Answer 1

正十七 2020-04-04 20:20:21

BN所需的参数量跟上一层的卷积核的数量就没有关系了。而是跟输入的size有关系。比如输入的大小是[batch_size, width, height, channel]，BN是在batch上做normalization，可以把输入看成是batch_size个[width, height, channel]的矩阵，[width, height, channel]矩阵上的每个位置都有batch_size个值，我们需要对每个位置上的这m个值去做BN，因而我们需要存储[width, height, channel]个均值和方差，以及beta和gamma， beta和gamma的定义参见：https://www.cnblogs.com/skyfsm/p/8453498.html

所以，参数量为[4, width, height, channel]

https://www.tensorflow.org/api_docs/python/tf/nn/batch_normalization

API文档里表达的也是一个意思。