关于激活函数 的问题

Question

这节课里面讲到使用relu时要谨慎选择lr，但是，我不太懂这个激活函数和训练时候的lr的关系
谢谢老师

Answer 1

正十七 2020-03-08 17:50:27

想对于其他的激活函数比如sigmoid，relu在大于0的时候的导数是1, 而sigmoid的倒数是f(x) (1 - f(x))是一个比1小很多的数。这样，因为relu的导数比较大，所以在更新参数的时候，我们要调小lr，从而使得每次的梯度更新不要那么激烈。