attention机制是啥? LSTM代码哪个位置？

Question

总结到 文本分类时, attention机制 是指什么？ LSTM文本分类的代码中 没找到啊？

Answer 1

正十七 2019-02-24 12:10:55

对于attention机制，可以理解为是一种加权机制。具体在文本分类中，每个词语经过lstm后会产生一个向量，可以认为是词语的语义表示，可以简单的把这些词语的表示加起来然后输入给最后的全连接层，但是这样效果不好，因为隐含了各个词语对最后结果影响一样的假设。attention机制在这里给每个词语的向量加上一个权重，然后再把它们加起来，这样就使得每个词语对最后结果的影响是不一样的。通过训练attention的参数，我们还可以判断出哪个词语对最后结果的影响最大。

由于课程篇幅原因，在课程中没有实现attention相关的代码。很遗憾，不过，attention的实现不难，在网上找一找，应该不难。

• 提问者 qq_书山压力大EE_0 #1

  非常感谢！