关于多分类svm

Question

二分类时，决策边界就为w0x0 + w1x1 + b =0这条直线

当多分类时，w0x0 + w1x1 + b =0似乎和决策边界并无关系，这是为什么？那w0x0 + w1x1 + b =0又代表了什么？

下图我隐去了w0x0 + w1x1 + b =±1的直线，看起来会清楚点

我自己的想法是，svm默认使用的多分类方法是ovr，也就是one vs rest。
上图黑、蓝、红线，分别代表了one为蓝，绿，橙时和rest的决策边界。
如果照这么说，如果分类多达十个，使用ovo是不是就会有C102C_{10}^2C102​=45条“决策边界”呢？

Answer 1

liuyubobobo 2021-07-08 17:30:39

首先：

我自己的想法是，svm默认使用的多分类方法是ovr，也就是one vs rest。
上图黑、蓝、红线，分别代表了one为蓝，绿，橙时和rest的决策边界。

完全正确。

其次，如果其分类，且 OvO，我们能求出 C(10, 2) = 45 条分界线。

但是，这些分界线不是决策边界。决策边界不是指某条线。决策边界就是将空间中的每个点都做一下分类，那些处在边界上的点组成的边界。这个边界可以非常复杂，完全无法使用方程，比如 knn 的决策边界，可以参考这里我绘制的结果：https://coding.imooc.com/learn/questiondetail/32jRAkYdlbaYwn5m.html

当然，如果数据简单且模型简单，比如二分类的 SVM，那决策边界就是一根线。

OvO 或者 OvR 由好几根线组成的决策边界，就是这个样子的。如果你一定要找他们的方程，这个方程会是很复杂的。是这个线上的点和每条界限计算距离然后选择最小的距离组成的结果。这个方程中会存在这些线，但是，最终画出来，已经看不出和这些线之间的关系了（因为和这些线之间的方程关系太复杂了）。

继续加油！：）

• 提问者 紫梦沁香 #1

  “如果你一定要找他们的方程，这个方程会是很复杂的。是（这个线）上的点和（每条界限）计算距离然后选择最小的距离组成的结果”，这句话中的“这个线”和“每条界限”指的分别是决策边界和分界线吗

• liuyubobobo 回复 提问者 紫梦沁香 #2

  是决策边界上的点和每条 ovo 或者 ovr 的边界线计算。

• 提问者 紫梦沁香 #3

  非常感谢！