多元线性回归和softmax回归问题

Question

bobo老师您好，最近在看您机器学习的同时也在阅读Dive into Deep Learning。我看到deep learning讲解线性回归时候又提及一种softmax回归问题，我以前以为softmax回归就是多元线性回归，现在发现是这是错误的理解，但是还是不太懂他们直接具体区别。bobo老师我自己粗浅的理解是，softmax回归不是线性的，是离散的。而多元线性回归还是线性问题？
请bobo老师能不能有更加直白的解释。谢谢老师

Answer 1

liuyubobobo 2021-09-25 01:37:23

Softmax Regression 这个课程没有介绍。但是你的理解似乎有一些问题，简单“高屋建瓴”地说一下。

最最重要的一点，Softmax Regression 对比的不是线性回归。因为 Softmax Regression 解决的不是回归问题，而是分类问题。这一点是和 Logistic Regression 一致的（虽然算法叫 Regression，但解决的是分类问题。为什么这样？课程中有介绍，回忆一下？）

而实际上，Softmax Regression 的另一个名字就是 multinomial logistic regression，也就是多元逻辑回归。我们这个课程介绍的逻辑回归，只能处理二分类问题，如果要使用逻辑回归处理多分类问题，只能用 OvO 或者 OvR 的方式。但是 Softmax Regression 能直接处理多分类问题。

实际上，Softmax Regression 是 Logistic Regression 的“泛化”，Logistic Regression 是 Softmax Regression 的“退化”。也就是如果使用 Softmax Regression 处理二分类问题，最终得到的结果是和 Logistic Regression 一致的。Logistic Regression 就是 Softmax Regression 处理二分类问题的特例。

我不太理解你说的“离散的”是什么意思。但是从线性的角度，Softmax Regression 是线性的。要注意的是，这里说的线性，是针对传入模型的特征说的。你有可能在传入模型前，对特征做了非线性处理（比如多项式特征），使得最终的结果针对原特征是非线性的。可以参考这个问答的后半部分：https://coding.imooc.com/learn/questiondetail/GgzqwXj5ldyYDxW0.html

这是我在网上找到的一个 softmax regression 分类的决策边界，你可以明显看出来他们是线性的：

其实你要看它背后的数学，也很好理解，因为它的本质是把 theta * x 放到 softmax 函数上。

继续加油！：）

• 提问者 nifo #1

  谢谢老师，bobo这回复信息量有点大，因为我有点心急，导致后面的逻辑回归没有看就来问您这个问题，可能之后看到逻辑回归部分问题就解决了。另外一个问题就是我应该是看孰不太仔细，下面我放一张dive into deep learning的三段原话。因为这个回复好像不能放图片了。
  前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。
  让我们考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为\(x_1, x_2, x_3, x_4\)。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4像素表示出这3种动物），这些标签分别对应离散值\(y_1, y_2, y_3\)。
  我们通常使用离散的数值来表示类别，例如\(y_1=1, y_2=2, y_3=3\)。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3这3个离散值之一，但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使用更加适合离散值输出的模型来解决分类问题。
  
  以上就是dive into deep learning原话，但确实softmax回归是处理图像这种分类问题的，可能这段中多次出现离散词影响了我。

• liuyubobobo 回复 提问者 nifo #2

  分类和回归是非常重要的一种对模型处理问题的非常方式，使用“离散”或者“连续”的说法是不够好的。因为“离散”本身不是专门描述模型本身的。特征也可以是离散的；不是离散的我们也可以做“离散化处理”。这个课程第一章对机器学习领域的很多分类，比如监督非监督；在线离线；分类回归；等等等等，是非常非常重要的。另外，我建议学完这个课程再学习神经网络，不然很多基础的概念还没有掌握。本身神经网络的学习也应该在这个课程介绍的内容之后的。如果觉得时间紧张，可以先不做模型底层的实现，但是概念层面的内容是需要了解的。继续加油！：）

• 提问者 nifo 回复 liuyubobobo #3

  是的，但是主要是导师希望我能快速上手。。。。。其实私下来讲坏话，我也感觉这种方式学习不好，因为忽略底层和概念，之后遇到问题还是一脸懵。只是在那边调框架或者现有的东西，反正什么原理之类我都不懂，至于为什么，那就是玄学。。。。。