矩阵求导数

Question

您的线性代数我学过，没有涉及矩阵求导数

这个公司怎么推导出来，有相关的推到文章吗

Answer 1

慕少4586186 2023-08-29 09:24:35

仅供参考:)

【可能是全网最详细的线性回归原理讲解！！！-哔哩哔哩】 https://b23.tv/7y5puRU

https://zhuanlan.zhihu.com/p/273729929

Answer 2

提问者 大胆0220 2022-06-27 14:30:20

图放错了

是这个哦

• 提问者 大胆0220 #1

  sorry

• 提问者 大胆0220 #2

  您的线性代数教程我学过，也看过网上的推演过程，好像用到矩阵的迹，迹不是很明白
  
  https://fengzhe.blog.csdn.net/article/details/80211955?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-2-80211955-blog-102680279.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant.none-task-

• liuyubobobo 回复 提问者 大胆0220 #3

  这个式子的推导已经不再通常的线性代数的领域了，而是一个统计学问题（或者最优化问题）。也就是上面这个式子的极值点为什么是下面的式子。这个推导过程已经超出了大多数本科教材的内容了。在通常的线性代数教材中，也是看不到对矩阵推导的内容的讲解的。也正是因为这个原因，我在这个课程中没有对这个式子做推导。这部分内容通常是学完高等数学和线性代数以后，更深入的学习矩阵论，或者多元微积分，或者最优化问题的时候，再做学习了。
  
  所以在这个课程中，我直接摆出了结论，大家知道有这个结论就好了。（这就像我们都知道 pi，但其实大多数人并不知道 pi 为什么是 3.1415926）
  
  如果你一定要学习这背后的数学的话，对于矩阵求导相关的内容的一些资料推荐，可以参考这个问答中的讨论：在通常的线性代数教材中，也是看不到对矩阵推导的内容的讲解的。

Answer 3

liuyubobobo 2022-06-27 14:24:14

这个公式和矩阵求导无关。 

1）y_hat 就是 Xb * theta

2) y 是一个 向量，y_hat 也是一个向量，y - y_hat 的结果还是一个向量，其中的每一项是 y(i) - y_hat(i)

3）两个向量的点乘，就是对应项相乘再相加。所以 y - y_hat 点乘 y - y_hat，结果就是 y - y_hat 向量中的每一项相乘再相加。每一项就是 y(i) - y_hat(i)，所以 y - y_hat 点乘 y - y_hat的结果就是上面的 sigma 的式子

4）在这里写成了矩阵形式。即把 y - y_hat 想成是 m * 1 的向量，那么 y - y_hat 的转置就是 1 * m 的向量。用 (y - y_hat).T 和 y - y_hat 相乘，结果是 1 * 1 的矩阵，也就是一个数字，其结果也是 y - y_hat 向量中的每一项相乘再相加。（即向量的点乘可以从矩阵的角度去理解。）

5）如果还想不明白，我的建议是，带入一个小的数据，用具体的数据，再理解一下。

看一下上面的解释是否还有哪里不明白？

继续加油！：）