RNN

Question

多个RNNcell该怎么理解呢？ 比如一个RNNcell在time2会有time1传过来的隐层的输出还有该时刻的输入x2，那多个cell之间是怎么样的？比如有3个cell 在time1，对第一层RNN输入h0以及输入x1得到隐层的输出h1，将这个隐层的输出输入到第二层去同时输入这一刻的输入x1得到h2,再同样得到输入第三层得到h3，然后在time2，第三层将这个隐层的输出输入到第一层，同时第一层输入x2。。。是这样理解嘛？ 就是多个RNNcell在时间轴上是如何运行的

Answer 1

正十七 2019-02-24 12:24:41

同学您好，

第一点，多个RNN cell其实和多个卷积核是一样的，每个RNN cell负责提取不同的特征，多个RNN cell得到的结果可以组成一个向量来表示当前的输入。 比如，如果某一层只有一个rnn cell，那么这层的输出大小为[batch_size, timesteps, 1], 如果有n个rnn cell, 那么输出大小为[batch_size, timesteps, n]。

第二点，多层rnn加上时间轴，那么当时间t时，第k层的rnn 输入即为第k-1层的输出和时间t-1时第k层的输出。而不是问题描述中的第三层输入给下一个时间的第一层。