老师请问这里表示残差连接吗？

Question

out = torch.cat((embed, out), 2)

Answer 1

会写代码的好厨师 2021-05-22 03:04:45

残差连接指的是类似resnet中的跳连的结构，可以用+也可以用cat，这里的结构，只能是可以近似理解。残差结构，不只是这一层。具体为x+f（x），f（x）表示一个具体的层。

• 提问者 HelloMrDeng #1

  谢谢老师的解答，我还有一个问题，这里做这一步的意义是什么呢？