参数设置

Question

从上到下依次为图1，图2[滑到最底端]
1.为什么max_length设置成500,依据什么设置的？
2.7-2中的vocab_size=10000依据是什么
3.每个词对应的数字映都要映射成16长度的向量么，如下图1所示
4.为什么7-5同学提的问题中的vocab_size写的是len(vocab)，
但是老师在7-3中却将vocab_size设成了一个常量10000，而不是vocab的长度?
如下图2所示：

Answer 1

正十七 2022-09-14 21:31:04

1. max_sequence = 500, 要根据数据来，统计长度，要在数据覆盖程度和模型训练复杂度之间做trade-off

2. vocab_size = 10000，一样，也要根据数据来，覆盖越多的词语越好，但也不能太大，太大会导致模型尺寸很大，也是一个trade-off. 在这个demo中，这两个我是肉眼看了一下数据设的，真实场景下要自行统计数据。

3. embedding_dim是一个超参数，可以设置成其他值。

4. 很多稀有词，比如只出现过一次，不配拥有自己的embedding，哈哈。有了也无法训练。如2, 词表不能太大，总要有取舍，低频词一般会被干掉来防止模型太大。
   

• 提问者 慕九州7272337 #1

  非常感谢！