超参数优化

Question

老师：
1. sklearn中的GridSearchCV类, 是否能解决“局部最优”，得到“全局最优”解？
例如：视频中的例子，k的取值范围内得到一个最优解，这个最优的超参数组合，是否是全局的。如果不是，怎么能得到呢？
2. 是否sklearn中还封装了比网格搜索更优秀的优化超参数的方法？

Answer 1

liuyubobobo 2020-08-05 16:03:54

1 

不能。实际上，很多算法都无法确保获得全局最优解，甚至可以说大部分算法都无法获得全局最优解。我们只能尽量去找“更好的解”，所有的算法都去追求全局最优解是不现实的，在很多时候也是没必要的。

在实际机器学习的过程中，灵活使用网格搜索最一般的方法就是从粗到细，从大范围的尝试逐渐缩小精度范围。

2

没有。超参数是调出来的，不是算出来的。如果能算出来，就不需要“调参”了。模型参数都是能算出来的，在课程后续，你也会看到各种算法用来计算模型参数。

当你学习完机器学习算法的基础之后，在实际机器学习的任务中，除了特征工程，一个很重要的任务就是调参。

调参有没有技巧？有。这个课程中我也辉介绍很多不同的指标，可以帮助你看出来当前参数可能存在的问题；你在网上搜索“如何调参”一类的关键词，也会有很多文章介绍。但是他们本质都不是一个固定的“套路”或者“算法”，而是经验。是你在深入理解你的数据，机器学习的模型，和当前的结果的基础上，能够明确进一步调参的方向的经验。

继续加油！：）

• 提问者 樟子松 #1

  为老师耐心和专业的解答点赞，学生受益匪浅，感谢老师。