请问老师，embedding层的训练是如何进行的呢？

Question

1. 使用预训练的embedding层，trainable = False，这个好理解。
2. 如果想从自己的语料训练一个embedding，那么是
   a) 先彻底完成embedding层的训练（skip-gram），将此层固定下来后，继续训练剩余层。还是
   b）embedding层也是与其他层一样，是根据最终的loss来更新的。

我觉得应该是a) 合理些，求教老师解答。

谢谢！

Answer 1

正十七 2019-10-01 01:19:18

应该是b，之前大家都用word2vec或者自行训练embedding，然后再保持embedding不变去训练网络其他部分。但是后来通用的做法就是一块训练，因为效果好。

• 船长will #1

  end-to-end 方法带来的性能瓶颈不会很大么？

• 正十七 回复 船长will #2

  train的时候会慢，inference的时候直接用embedding应该跟word2vec没有区别。然后train的时候慢就上分布式GPU/TPU环境训练，性能问题可以解决。

• 船长will 回复 正十七 #3

  谢谢老师