Adam校准以加速训练这里能否稍微详细说明一下，谢谢！

Question

如题，first_unbias和second_unbias在这里是如何起到加速训练作用的？

Answer 1

正十七 2020-07-07 21:42:14

不知道你说的first_unbias和second_unbias是不是我理解的bata_1和beta_2, 在这里，Adam是Momentum和RMSProp的结合体，beta_1用来做momentum，动量会加速训练这点我们课上讲过了。

beta_2用来做梯度的归一化，即用累积的梯度平方和去对梯度做归一化，使得更新频繁的变量更新的小一点，而更新不频繁的变量更新的多一些。加速训练主要体现在后者，更新的不频繁的变量更新大一些来进行加速。

https://zhuanlan.zhihu.com/p/32626442

• 提问者 Sean_007 #1

  抱歉，我的问题没有说清楚。其实我指的是偏置校正这里，知乎链接里有讲这一部分，说是它可以保证迭代更为平稳。所以，可不可以这样理解：由于迭代更平稳了，因此加速了训练。但是这个初值偏移有些没太理解，为何偏向了0？是因为初始时之前的累积量为0吗？