LSTM和Attention的对比

Question

老师您好，

如果把LSTM中的输入门和输出门去掉，只保留遗忘门，那它是不是就和加了Attention的普通RNN类似了呢？

Answer 1

正十七 2020-03-24 21:24:45

还是不一样，attention机制是给很多步得到的向量A = [a1, a2, a3,...]，分别去和另一个向量b去做attention计算权重，然后用权重再去给A做加权平均。这一点只有遗忘门做不到。