为什么你讲得PCA没有涉及到协方差？

Question

我在知乎上看了很多关于PCA降维的文章，从数学的角度来说，主分量（主基）采用方差最大值可以最大程度的保留原始信息，从第二基开始，就考虑协方差去体现原始数据的差距。为什么在您的视频中并未涉及？

另外，看了你的视频，让我觉得茅塞顿开，很难碰到这么优质的视频。非常期待你能更新后续深度学习的视频，我看了帖子你说不打算更新了，还真的有点失落

Answer 1

liuyubobobo 2018-08-23 15:18:35

谢谢你的支持：）

由于这个课程是机器学习入门课程，我不希望引入太多非常数学的内容，把大家吓到，所以并没有引入标准的PCA的数学解法，而是使用非常计算机思维的搜索方式（梯度上升法）来求出主成分：）如果使用数学解法，根据大家的水平的不同，还需要介绍很多数学概念，而且容易让大家望而却步。毕竟，我宣传的是，学习这个课程，不需要太“厉害”的数学基础：）

另外，使用梯度上升法，还可以顺便复习一下梯度下降法，一举两得：）其实，这个课程也有别的地方菜组这样的处理方式，比如线性回归，使用最小二乘法才是通常标准库中所使用的方法，而不是梯度下降法：）

深度学习慕课网已经有很多老师讲了，我暂时无法讲了。非常抱歉。以后有机会的：）

加油！：）

• 提问者 寅时猛抽风 #1

  那我想问一下，在标准库 中使用的PCA降维，是按照协方差矩阵的方式在实现的吗？另外谢谢你的回复，我正在日以继夜的学习，定不会辜负这么优质的视频

• liuyubobobo 回复 提问者 寅时猛抽风 #2

  是的。通常一个问题有完美的数学解的时候，使用数学方式解决，无论是从性能还是精度，都远远高于搜索算法：）

• 提问者 寅时猛抽风 #3

  还有，我相信很多同学跟我一样，对于线性代数的理解程度还非常的低，以至于很多时候从传统代数到向量化的时候有一种排斥感。今天看了一天的关于线代的文章，有一句印象很深的话留给后续跟帖的兄弟们
  让人感到厌恶的永远都只是数学课，而不是数学本身

点开查看后面10条评论