关于 LASSO 回归的疑惑

Question

老师，您好！

你讲到 LASSO 回归的一个重要的缺陷：急于将某些 θ 化为 0，此过程中可能会产生一些错误，使得最终的模型的偏差比较大；

疑问：使用 LASSO 回归进行模型优化的过程中，使某些 θ 化为 0 的这一行为是有选择的吗？或者说有没有什么条件使得尽量避免让相关性比较强的特征的系数化为 0 ？还是说这一行为只是单纯的数学运算，就为目标函数尽量达到目标状态？

Answer 1

liuyubobobo 2018-07-13 23:58:15

后者，没有选择。当你选择了LASSO这种方法，就相当于是选择了“急于将某些 θ 化为 0”这一特点。

这个特点不一定完全是缺陷。在某些情况下，你可能希望让某些 θ 化为 0，比如做特征选择的时候。但在某些时候，你可能不希望这样。此时，应该选择使用Ridge：）

• 提问者 何永灿 #1

  非常感谢！

• 提问者 何永灿 #2

  老师，可以这样理解吗？使用 LASSO 回归优化出的模型一定会有偏差。
  
  另外，如果想做特征选择，使用 PCA 不是更好吗？用降维来选择特征，再用 Ridge 回归优化模型。

• 提问者 何永灿 #3

  老师，想再跟你请教下。
  
  “在某些情况下，你可能希望让某些 θ 化为 0”，某些情况一般指什么情况呢？可以不必计较和刷选的将样本的一些特征去掉。

点开查看后面3条评论