求损失函数最小值为什么不直接根据导数为零计算，而要用梯度下降这么一个复杂计算过程

Question

老师好，求损失函数最小值为什么不直接根据导数为零计算，而要用梯度下降这么一个复杂计算过程，导数为零不是就可以判断极值点吗？

Answer 1

flare_zhao 2022-07-29 19:11:16

梯度下降是逐步推到会到极值点，就是去寻找导数为零的位置，通用性强。你直接求导的话，不是每个函数都能直接求的

• 提问者 北国之春 #1

  但是梯度下降法要计算每个点的梯度，也是要计算导数的啊

• flare_zhao 回复 提问者 北国之春 #2

  有些函数导数没有为0的点，或者多个为0的点，或者特征参数很多，这些问题直接导数为0求解困难，或者只能找到局部最优。就需要用梯度下降法来找到最接近极值点的点，和避免找到局部最优。普通的线形回归用求导，根据导数为0没多大问题，但逻辑回归，多分类问题里面的函数，就很困难，梯度下降通用型强

• 提问者 北国之春 回复 flare_zhao #3

  好的，谢谢老师！