为什么在encoder layer和decoder layer里的multiheadattention的qkv都传了x进去？

Answer 1

正十七 2020-11-16 22:31:10

在这个翻译问题上，存在这三种注意力，

1. encoder的输入的要翻译的句子上的自己对自己的注意里，用来提取源语句信息。

2. decoder的输入的句子自己对自己的注意力，用来提取目标语句的信息。

3. encoder和decoder之间的注意力，用来寻找源语句和目标语句之间的对应关系。

输入的都是x的时候，说的是前两种注意力。