关于relu和leakyrelu的问题

Question

请教老师关于relu和leakyrelu的问题：这两者的概念都懂，但是不知道分别用在什么场景；或者说，什么情况下两者通用，什么情况下最好用其中的一种？

Answer 1

正十七 2019-06-27 19:12:41

大部分时候差别不大，但是各有优劣：leaky relu能防止dead relu的问题，但是普通的relu可以导致最后的模型激活值比较稀疏（因为有0的存在）。而激活值稀疏对于online learning比较好。参考https://www.reddit.com/r/MachineLearning/comments/4znzvo/what_are_the_advantages_of_relu_over_the/

还有一种说法是leaky relu非线性能力不如relu，因为可能更加适合生成问题而不是分类问题。虽然我不太同意这种说法，但是有人验证过https://oldpan.me/archives/non-linear-activation-relu-or-lrelu

• 提问者 SimonYuan2018 #1

  回答得很漂亮