刘老师，请问一个11-3中关于eta值的问题

Question

为什么对于每一个训练样本，都要单独设置一个eta值呢？每个eta值的选取有什么规则吗？

Answer 1

liuyubobobo 2021-07-01 03:11:18

你说的是这个吧？

首先，这个 eta 不是超参数，而是模型参数，所以不需要我们设置。他就像线性回归中的 theta 一样，是在 fit 的过程中根据数据求出来的。所以，SVM 的参数列表中，没有这个值的设置：https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html

为什么对于每一个样本来说，都有一个不同的 eta，简单来说，是因为不是所有的错误都是相等的。eta 的一个直观解释是对每一个数据点容忍的错误。如果是 hard svm，每个数据点都在决策边界的一侧，且 margin 内没有数据点。但是 soft svm，数据点没有这个限制，但对于错误分类的数据点，或者 margin 内的数据点，很显然离正确的那个 margin 边界越近越好，也就是错误越小。eta 在衡量每个数据点的这个错误。我们的正则化项是看所有数据点的这个错误总和（或者平方和），來最小化它。

继续加油！：）

• 提问者 派蒙的主人 #1

  谢谢老师！