使用kernel的理解

Question

我有两个关于核函数的理解问题：
一，使用核函数的好处是，把低维的特征空间映射到更高维度，这样更容易线性可分？不知这样理解准确不准确？

二，SVM算法求得的hyperplane一定是线性的，这个从最优化的数学中可以看出来。但是，但是为啥课程中使用核函数后的分隔线是非线性的呢？譬如用了多项式核函数。我的理解是，使用核函数把特征空间映射到更高维实现了更好的线性可分，所以分隔平面还是线性的，但是这个hyperplane投影到原来的特征空间后就变成了非线性。不知这样的理解准确吗？谢谢老师！

Answer 1

liuyubobobo 2021-06-16 11:57:39

两个理解都是正确的。

对于你说的第二个问题，是的，可以从多项式核的角度去理解。我们把数据映射到了多项式特征的维度以后，可以线性可分，但这是在新的高维度上可以线性可分，把他打回到原来的数据维度上，依然是线性不可分的，我们创建了一个分线性的决策边界。

继续加油！：）

• 黄义舜 #1

  1）"一，使用核函数的好处是，把低维的特征空间映射到更高维度，这样更容易线性可分" 这个同学这样说准确吗？核函数应该就是方便计算吧（不用把Xi，Xj单独进行变换再点成，直接点成后进行变换，我们不关心Xi和Xj，我们只关心Xi和Xj的乘积）所以我觉得应该这么说 : "一，使用多项式核函数的好处是，节省低维的特征空间映射到更高维度的时间"。

• liuyubobobo 回复 黄义舜 #2

  你的说法是对的，但是，当把数据放到更高的维度，就是更容易线性可分的。（也就是这位同学的说法也是对的。）
  
  如果用简单的例子理解，你可以想象，在一维空间（一条线）上的样本，如果是这样的：
  
  ```
  A B A B
  ```
  
  它不是线性可分的。但是，如果在二维，可能就是这样的了
  
  ```
  A    A
  
    B      B
  ```
  
  他就是线性可分的了。
  
  再比如，这样的二维样本分布，不是线性可分的：
  
  ```
  A   B
  
  B   A
  ```
  
  但是，把他拉升到三维，你可以想象一下，如果“恰好”，B 样本都在 z 方向下降了一些；A 样本都在 z 方向上上升了一些，他们就是线性可分的了。
  
  我们如果来看上面的这个从二维到三维的升维，相当于对着四个样本点都添加了一个 z 坐标。此时，除非这四个样本点升到三维空间以后，依然共面，否则，他们就一定共线性可分了。你可以直观地想象，增加一个 z 坐标以后，他们线性可分的概率大大增加了。
  
  为什么会这样，还是因为维度灾难。简单来说，在高维空间里，同样数据的点，分布更稀疏了。比如在三维空间里，8 个点可以占据三维空间的一个“单元格”（每一维度的坐标或者为 0 或者为 1）的所有“顶点”。但是，在一个 3000 维的空间里，一个单元格的顶点能放 2^3000 次方个点，这个数字比宇宙所有的原子的数量还要多。你可以直观想象，8 个点可以把三维空间的单元格“占满”，但是 8 个点对于 3000 维空间来说，少得可怜。参考这个问答：https://coding.imooc.com/learn/questiondetail/G8glLYlJxQk6xpDa.html
  
  所以，在一个高维空间，同样数量的样本，变得更稀疏了（而非更拥挤了），样本之间的距离被拉大了（而非缩小了。3000 维度空间的“单元格”的对角线距离远高于三维空间）所以他们更容易被区分了，也更容易被线性可分了。
  
  这其实就是 SVM 的 rgb 核更容易过拟合的原理。在高维空间里，我们找到了一条“高维空间中的线”把样本很好的做了分类，再放回低维空间看，就变成那种不规则形状了。（印象中课程会对 SVM 的 rgb 核的决策边界做画图让大家直观看到的。）
  
  继续加油！：）

• 黄义舜 回复 liuyubobobo #3

  哦，我明白了，确实是升维之后，更可以线性可分了，我没看全。谢谢bobo老师。