Attention 与full connect的区别？

Question

感觉单层的Attention是要连接上一层，或者说是输入的每一个输入的单个节点，跟全连接结构特别像，有没有特别细的区别或者说明？

Answer 1

Mr_Ricky 2019-04-02 19:08:35

全连接层是层与层之间的全连接，而且是所有的节点连接，而attention是特定的在那一句话中的词的连接，这是不一样的。