很大的梯度流过神经元，不会有激活现象？？？这段没听懂。。正在回答
1回答
假设relu的输入也就是上一层的输出是一个大于0的值，那么当一个比较大的梯度经过后，使得网络通过调整让relu的输入小于0了。在这个时候，因为经过relu后是0，所以梯度计算出来就都是0了，因而底层的网络可能会不再调整，因而relu之后的输出值就一直是0，没有了变化，就形成了dead relu.
2
有任何疑惑可以回复我~
相似问题
关于很大的梯度流过
609
1
3
两种梯度下降法的速度比较
1273
0
5
梯度下降法和梯度上升法的收敛情况
1548
1
3
dJ_sgd的i可以不随机取吗？
495
0
12
【笔记】梯度其实关键的是方向，所以梯度不应该和特征数目有关
650
1
3
登录后可查看更多问答，登录/注册
