回归方法的类型

Question

请问除了，线性回归，梯度下降法，支撑向量机之外还有没有比较好的解最小二乘问题的机器学习方法，就是不需要学习率这种参数的

Answer 1

liuyubobobo 2022-03-21 18:04:02

什么叫“最小二乘问题的机器学习方法”？你可能有一些概念上的混淆。

==========

最小二乘法本身是求解线性回归损失函数极值位置的方法。最小二乘法本身就不需要学习率，是纯数学的方法。

梯度下降法也可以求解线性回归损失函数的极值，实际上，梯度下降法可以求解任何损失函数的极值，但缺点是由于有诸如学习率这样的超参数，所以需要调参。

最小二乘法和梯度下降法都不是机器学习算法，他们都是求解某个函数极值的算法。这两个方法是平行的（目标是一致的）。

==========

线性回归，支撑向量机，是机器学习算法。他们和这个课程中介绍的其他机器学习算法，诸如 knn，逻辑回归，决策树，随机森林，等等等，都是平行的，他们的目标是一致的（解决分类或者回归问题。）

继续加油！：）

• 提问者 weixin_慕设计9414747 #1

  我没有表达的很清楚。。我的意思就是想求解如ax-b=0这个问题的机器学习方法，梯度下降法需要调参，比较麻烦，除了线性回归，支撑向量机有没有别的回归方法可以解决这类问题

• liuyubobobo 回复 提问者 weixin_慕设计9414747 #2

  你的表达还是有问题的。什么叫”ax-b=0这个问题的机器学习方法“？什么叫“除了线性回归，支撑向量机有没有别的回归方法”？这些表述是语义不通的。这说明你还是存在一些概念上的混淆的。
  
  但是 anyway，我可以告诉你的是：1）大多数机器学习的损失函数，是复杂到没有直接的数学解的程度，所以搜索算法是“唯一”的算法。2）但是，在真正的搜索前，或者可能可以靠数学尽量化简搜索目标，让搜索不容易“溢出”；或者有更高级的搜索算法，在搜索过程中可以自适应地调整学习率等参数，使得用户可以不指定这些参数，但他们本质也是梯度下降法。（这个课程中介绍的模拟退火算是一个很初级的梯度下降的改进。）梯度下降法是所有这些方法的基础。正因为梯度下降法如此的基础，所以我才会在这个课程中花大量时间去介绍。
  
  如果你想了解 SVM 的实现，这篇文章介绍了大名鼎鼎的 svmlib 的内部实现原理，虽然看似有大量的数学推导，但是推导到最后，依然是使用搜索求解：https://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.pdf 另外，svm 内部的具体实现，超出了 99.99% 的机器学习这个领域的学习范畴，所以对于大多数同学来说，尤其是入门阶段，不需要深究。如果一定要深究，建议先对凸优化有一个基本的认识和学习。继续加油！：）