关于很大的梯度流过

Question

看了老师您回答一个同学的相同问题，还是没懂，什么叫很大的梯度流过神经元，能用比较简单的带数字例子进行解释吗？

Answer 1

正十七 2019-10-01 05:10:11

”很大的梯度流过神经元" 的意思就是指 该神经元相关的参数被梯度下降算法更新了一次。

比如原来的参数可能是：[-10, 5, 7], 然后突然来了一个梯度是[-100, -100, -100], 这样参数就更新成了 [-110, -95, -93]。 然后如果接下来的收到的数据都是[a, b, c], 其中a, b, c >=0, 这个时候神经元的输出恒为0，于是不会再有梯度传回来。因而参数得不到更新，也就变成了dead cell了。

• Suspendz #1

  但是下一次再训练，例如拿到一个样本数据刚好都是负值，让加权值重新成为整数，这神经元不是又活了么，还是不怎么理解这里

• weixin_慕尼黑0465866 #2

  然后如果接下来的收到的数据都是[a, b, c], 其中a, b, c >=0, 这个时候神经元的输出恒为0，这句话是什么意思？参数为[-110,-95,-93],参数[a,b,c]，输出不应该是[-110a-95b-93c]恒为负数，经过relu激活函数为0？