损失函数和松弛变量η有什么关系吗？

Question

在看资料时，发现有hinge损失，指数损失，对率损失等。这些损失函数有什么作用？与松弛变量η有什么关系？

Answer 1

liuyubobobo 2018-01-26 16:37:53

这个课程由于对SVM没有深入的特别深，所以对损失函数没有过多介绍。简单解释如下：

这个课程的讲解，我们已经知道，对于SVM，本质是这样的最优化问题：

其中，下面这个条件 

可以写成：

，f(x)=0就是我们的决策边界。

又因为

我们可以得到：

我们的最优化式子就变成了：

上图公式中标注的蓝色部分，就是损失函数：）

我在这里推导出的这个函数，就是大名鼎鼎的hinge损失函数（关于yf(x)的函数），因为这个函数图像像一个门的合页。这里，这个损失函数，也可以根据计算的需要或者精度的需要，使用其他损失函数（具有同样或者类似的性质）替换。

更深入的内容，不是在问答区一句两句可以说清楚的了。:-( 

这个课程的主要目的还是以入门为主，更深入的内容，可能还是需要深入进阶书籍，或者期待一下我的进阶课程：）（如果会出的话。。。）

• 提问者 X_yong #1

  非常感谢！

• ShiveryMoon #2

  太好了，我确实感觉视频里有很多东西都是略过的，补上这个答案就完整一点了。

• 手中的铅笔 #3

  老师，赶紧出进阶课程哇：）你出啥机器学习进阶课程我都买：）