激活函数

Question

老师，我理解了为什么使用激活函数，但是根据咱们课中的例子，这样不会把一些信息消除掉吗（负数）这样不是损失了一部分信息吗？

Answer 1

正十七 2021-12-07 22:09:52

会损失，但是没关系。原因是：

• 神经网络中会有参数冗余，因而损失一些信息没有关系。网络容量足够

• relu会带来稀疏性，起到一种正则化的效果，具体来说就是使得参数之间的依赖变小了，这样能增加网络的泛化能力。