关于combine的问题

Question

老师，这里为什么要将emdeding后的x和context_vector连接后输入GRU而不是直接把context_vector作为GRU的输入呢？？

Answer 1

正十七 2020-01-09 22:07:11

同学你好，这个问题针对的是seq2seq + attention模型吧。

在这里，因为context_vector是原语言信息，而x是目标语言上一步的信息，在decoder的lstm中，还有隐含状态是目标语言的已经翻译出来词语的信息。

综上，这里把context vector和x拼起来再输入的原因是decoder在这一步不仅需要知道源语言的信息，还需要知道什么信息已经翻译出来了。

• 提问者 qq_雨后天晴_0 #1

  非常感谢！