关于Relu导致神经元死亡的问题

Question

老师，根据Relu函数的特点，当输入神经元为负值时，对应梯度为0，导致神经元权重无法更新。

问题（1）：是否这种情况下，死亡的神经元在此后的训练中永远不再复活？

问题（2）：是否可以认为Relu的非线性是通过神经元的死亡带来的，要想引入更多非线性，就要“杀死”更多神经元？

问题（3）：如果上面答案都是肯定的，那么训练初期，由于网络不稳定，可能会导致部分神经元被“错杀”，这么一来，最终网络的训练质量会不会受到影响？

Answer 1

正十七 2019-08-01 00:04:17

问题1：不是，神经元死亡后是可以复活的，因为其他的神经元可以传梯度下去从而导致下一次的输入发生变化。神经元死亡一般是突然来了一个大的梯度，导致无论怎么微调输入，都无法再使神经元输出为正数，所以神经元无法调整参数，永久死亡。

问题2：不是，因为可以复活，所以<0未必是绝对死亡，但是非线性确实是relu输出为0带来的。

问题3：不是，因为问题一的答案。