损失函数与代价函数问题？

Question

为什么创建模型时设置的是损失函数，而不是代价函数呢？梯度不也是根据代价函数的梯度计算的吗？

Answer 1

李超 2025-08-15 09:50:04

首先我们要清楚损失函数和代价函数的区别，损失函数是对单个样本计算误差，代价函数是对整个训练集样本整体计算误差。所以深度学习中的代价函数一般是所有样本损失的平均值。损失函数与代价函数之间是个体和整体的关系。现在我们就可以知道为什么在创建模型设置的是损失函数了，因为需要用它计算每一个样本的损失值，然后将所有的样本的损失计算出来后，才能计算出代价损失。二、关于梯度的计算。虽然课程中我们计算时，代价函数是通过公式推导计算得到的，但实际编码中，它的计算是根据每个样本的损失计算出梯度的。将那个样本损失的梯度计算出来后，再将这些梯度累加，然后求平均。也就是说我们在理解时用的是数学方法，而它真正工作时用的是编程法，得到的值是数学法得到的值的近似值。