Transformer模型怎么保存

Question

我看见git上pending issues 上有这个问题 但是transorformer代码上没有看到模型保存 能尽快更新吗？

Answer 1

正十七 2019-12-01 15:38:56

已更新到代码库中。

目前来看，对于子类继承的模型，tensorflow2.0中不支持h5格式的保存，对于Sequential的模型才可以保存。而我们的transformer模型，并不是层级结构。因而目前不支持h5格式。

而对于encoder.save(‘encoder’,save_format=‘Tf’)的失败，则是因为我们的模型输入比较复杂，call函数的参数除了input还有mask信息。要想save_format = TF成功，只能有input信息，所以并不符合我们模型的需求。所以也无法实现。

目前可行的方法是checkpoint，即只存储模型的参数。这点我们已经在代码中实现了。可以参考最新的代码。

Answer 2

正十七 2019-11-24 20:44:43

能，多给我几天时间哈。下周中间左右会更新。

• MrError404 #1

  seq2seq模型使用的平衡数据（.txt语料库）怎么配合Transformer模型？能不能配合？

• 正十七 回复 MrError404 #2

  同学你好，不懂你提问的问题是什么意思。能否具体一下？平衡语料指的是平行语料？ 配合指的是训练么？

• MrError404 回复 正十七 #3

  你好老师。我在学习第十章的seq2seq 和 Transformer的机器翻译，我感兴趣搭建自己的机器翻译。

点开查看后面2条评论