return activation(bn)的疑惑

Question

老师好，在做return activation(bn)之前， activation设置为None，那么在添加了批归一化之后的激活函数是None还是relu，批归一化的思想是让每一个batch的特征的均值为0，方差为1的分布，这点理解是否正确？在这里我感觉好像做完批归一化后没有经过relu激活，请是这样吗？

Answer 1

正十七 2020-03-05 22:15:22

同学你好，这里批归一化和激活函数的顺序是可以换的，学术界也没有定论，都不影响bn效果的发挥。

可以参考这个问题的解答：https://coding.imooc.com/learn/questiondetail/137723.html