通过多次迭代降低loss

Question

老师 我对于模型通过多次迭代来降低loss有不小的疑惑 因为本例中咱们基本上是调用接口 所以我对于整个算法的内部机理不是很明白 算法是如何通过多次迭代来降低loss的呢 既然输入数据每一次都不变 那必定每次迭代 模型的参数在改变 但这个参数是哪个呢 （我个人的猜想是每个层级之间的权重 ？） 希望老师予以解惑 如果不好解释 老师能提供相关的资料也是极好的 期待您的回复

Answer 1

flare_zhao 2020-08-16 11:52:54

我们先从简单的案例开始，回归分析章节中的梯度下降法，首先计算损失函数（在mlp中，这个过程称为正向传播算法，即从模型的最左侧开始，根据神经元系数，依次递推后面的结果，直到得到预测输出y'，然后基于y'与y的差异，可以得到损失函数）；

有了损失函数J，那我们就可以采用梯度下降法，寻找J变小的方向，优化的方法，则是通过向前改变模型的参数实现，我们从倒数第一层一次往倒数第二层....直到第一层，完成参数的优化，这是一次优化，重复这个流程，直到损失函数收敛，这个过程称为反向传播算法。

关于反向传播算法的详细解释：https://blog.csdn.net/dfly_zx/article/details/108034285

• 提问者 码农小陈 #1

  好的好的 我再好好理解下 谢谢老师~

• flare_zhao 回复 提问者 码农小陈 #2

  加油哈

• 好好加油学习 #3

  老师这个是否可以理解为第一次只是求出参数，后面的每次迭代是对一层参数的优化？是这样理解的吗？

点开查看后面3条评论