老师请教您一个问题

Question

在欧几里得空间中的向量都是过原点的，也就是不考虑偏置b的。
后面我看到了一种处理方法：

那这样似乎就可以把b考虑进去了，那可以这么理解吗？
那是不是说，只要在欧几里得空间升一个维度，就能考虑在低维度空间的偏置了？
但是这样想有感觉不对，因为即使这样也没办法构建平行的向量呀。
哈哈，好像说的有点乱了，bobo老师不好意思哈。

Answer 1

liuyubobobo 2022-06-25 02:33:03

为了方便起见，我们只考虑只有一个 x 的情况。

你现在要做的事情是，给出了一堆 x（因为只有一维，每个 x 就是一个数字）和一堆 y，“拟合”出一条直线方程 y = w0 + w1x。

因为给出的是一堆 x 和一堆 y，我们可以把这个式子写成矩阵的形式。

y = [ y1 ]    X = [1 x1]   w = [w0]
      y2           1 x2         w1
      y3           1 x3
      ...          ...
      yn           1 xn

这样一来，我们就可以表示成：y = Xw

==========

这里注意，关键来了。在上面的这个叙述中，我们关注的，其实是两个空间。

第一个空间，是这个方程 y = Xw 所表示的空间。这个空间是二维的。其中一个维度是 y，另一个维度是 x。给出一组 w，就能在这个空间中找到一组对应的 (x, y)。

另一个空间是向量 w 构成的空间，这个空间也是二维的，其中一个维度是 w0，另一个维度是 w1。在这个空间中的每一组 (w0, w1)，都对应了 (x, y) 空间中的一条直线。

我们在 w 空间中不考虑截距。因为 w 空间描述的不是 w0 和 w1 之间的关系，而是 y = Xw 这个方程的所有系数的可能性，组成了一个二维空间。

而我们在 (x, y) 空间中考虑截距，因为我们在这个空间中探求的是 y 和 x 之间的关系。y 和 x 之间的关系，可能还有一个截距的影响。

我们当然可以在 w 空间画出有截距的直线，比如 w0 = kw1 + b。但是这个形式对我们解决这个问题没有帮助。因为我们当前面对的问题，w0 和 w1 之间没有这个关系。w0 和 w1 是相互独立的。

但是我们在看待 (x, y) 这个空间的时候，x 和 y 不是独立的。y 是随着 x 变化的。如果我们只看 x 的话（在实际做统计分析的时候，就是如此），他就是一维的。因为一旦 x 确定，y 就确定了。x 是自变量，是能够任意变化的，y 是因变量，是 x 变化的结果，而非一个独立的维度。但是 w0 和 w1 中不是这样的关系。

上面的描述中，一维和二维是两个东西。在上面的例子中，w 是二维的，x 是一维的。x 和 y 在一起，才构成了另一个二维空间。在这个二维空间中，x 和 y 之间的关系才可能存在一个截距的影响。（也正是因为要考虑这个影响，w 才是二维的，而非一维的。）

==========

推而广之，如果我们的样本数据 x 的特征个数是 d 维的，那么为了表达这 d 个特征和一个目标结果 y 之间的关系，我们要求的系数，是分布在（另一个） d + 1 维的空间的。

这两个空间的轴表达的意思完全不同。一个坐标轴是不同的特征 x 加上一个 y；另一个坐标轴是不同维度的 w。你的描述中觉得“有点儿乱”，大概率是因为把这两个空间混为一谈了。

继续加油！：）

• 提问者 code_bean #1

  哦，原来是这样啊！！！
  
  那可以从两个方面理解：
  第一种：
  一个一维欧几里得空间X存储所有x的可能性，一个一维欧几里得空间Y存储所有y的可能性。
  而两个欧几里得空间的中的xy是有一一对应的关系的，有了这个关系之后，
  每对xy又可以形成一个新的二维的欧几里得空间XY。如果再有一个一维的欧几里得空间B，
  存储所有的截距b，而这个B和XY也有一一对应的关系之后，根据这些关系，我们就能描述截距的直线了。
  比如XY中有一个元素(x1, y1) B中有一个元素b1，通过这三条信息就能描述一个有截距的线段。
  而这个B也可以作为一个特征项，放入X矩阵中，最为一个新的一列。
  
  第二种：
  将欧几里得空间看成点的集合，在X和W没有扩充之前，XY中的所有的点构成的空间其实就是一条过原点的直线。
  在X和W扩充一维之后，XY中的所有的点构成的空间就是一条有截距（不过原点）的直线。
  （没错，我之前确实是将X Y W 这些空间搞混淆了，老师这里点醒了我！！！）
  
  总结：
  虽然欧几里得空间里的向量都是过原点的向量，但是如果把这些向量看成一个点（忽略原点），这些点就构成
  一个空间。这个空间可能是N维空间中的一条线，一个面，或者一个体 这就是子空间的概念啊。

• 提问者 code_bean #2

  感谢波波老师，感谢慕课平台。

• 提问者 code_bean #3

  老师，本来我的回复是有格式的，但是一发布就成一坨了。。。。实在不好意思。。。

点开查看后面2条评论