增加正则项问题

Question

正则项是怎么约束参数过大的情况，让参数变小的，老师能公式推导一下看看吗？不太明白

Answer 1

flare_zhao 2023-07-11 01:11:46

第15分钟50秒处，因为增加了正则项，如果你的参数theta过大，会导致损失函数过大的，我们的目的就是要尽可能小的损失函数，从而反过来会限制theta的取值

• weixin_慕用5578180 #1

  为什么theta值越小越不容易过拟合？

• flare_zhao 回复 weixin_慕用5578180 #2

  每个theta的大小反应了对应特征的重要性，过大的theta值的结果就是对某个特征过于依赖，当特征数量非常多的时候，这容易放大某个特征的权重，导致模型在训练数据上表现很好的过拟合现象，而在测试集上的表现明显下降。通过限制theta的取值，让整体特征的权重都相对平衡，更不容易发生过拟合的现象。