题目描述:谈谈学完梯度下降法后的想法:
提示:可以谈谈学习的感受,是否容易理解,也可以谈谈自己觉得在课程中讲到的梯度下降法的基础上还应该更深入的学习点什么,还可以思考一下梯度下降法能解决的应用场景。
老师提示:在我们目前讲的梯度下降法基础上还可以更深入地学习什么呢?
首先,如果变量很多的情况,比如几千个变量,那么这时候如果按照常规方式,一个变量一个变量地迭代,很明显程序执行效率很低,而且写代码过程也会变得非常繁琐,那怎么办呢,我们就需要学习矩阵求导方法了,可以把所有变量看作一个整体处理。
其次,梯度下降法适用于解决无约束条件的极值问题,对于有约束条件的情况,比如等式约束或不等式约束,是无法解决的。对于梯度下降法不能解决的这两个问题,我们目前正在规划一门凸优化为主要内容的课程,希望大家继续关注。
另外,需要大家注意的是,对于目标函数不可微的情况,也是不能用梯度下降法的。
同学,你的答案是什么呢?