课程中提到残差是图像的信息

Question

老师在课中提到，AlexNet和VGG都是经过了几层卷积pooling后，最后输入到全连接层，其中每一层都是学的图像全部信息。而ResNet不同，它的残差部分只是图像的某些表达（可以说是图像的部分信息），而X里面是承载的图像的全部信息。我在这里的理解是，当网络层次更深的时候，残差部分学不到什么东西，直接将X中的内容拿来继续学习，这里的X可以视为图像信息的一种备份，不知道这样的理解对不对。然后我想问的是，ResNet它也是经过了卷积层和池化层，过程几乎和Alex、VGG一样，为什么前者就是学到图像部分信息，而后者就是学到图像的全部信息呢？

Answer 1

正十七 2019-10-01 05:15:20

回顾一下残差的公式，f(x) = res(x) + x, 其中你说的经过了卷积层和池化层的结构，应该指的是res(x), 即残差部分，此时，相当于你给res(x)的任务就是f(x) - x，-x就已经把全部的图像信息给排除掉了，所以残差学到的目标本来就不是为了学到全部的信息，而是多余的信息(或者更加抽象的信息)。

还有一个点需要注意，正因为有了这个残差连接，才使得梯度能够比较好的传递下去，这也是它效果好的一个原因。

• 提问者 weibo_向小韬韬韬韬韬韬_0 #1

  非常感谢！