decoder中的gru隐状态

Question

decoder中的gru隐状态初始值我看您在第一节课件中描述的是encoder最后的隐状态。但是代码中没有体现。self.gru = keras.layers.GRU(self.decoding_units, return_sequences=True, return_state=True, recurrent_initializer='glorot_uniform')。不知道是不是我理解错了，希望老师能帮忙看下这个问题。谢谢

Answer 1

正十七 2020-04-04 21:29:22

同学你好，在代码中我们实现和图上的稍有区别，应该是图的问题。

你标hidden_state的这个线应该是从➕那里延伸出来。这样，decoder的每一步就可以统一了，即使用上一步的hidden state和encoder中的每一步的输出去做attention，加权平均后的向量跟decoder的input拼接作为gru的输入。