subword and tokenizer

Question

老师，subword和tokenizer这两个好像都是文本信息生成词表，二者有什么区别吗，应用场景上有什么区别？
是不是也可以分别遍历本案例中的数据集中的英文和葡萄牙文本，然后再用tokenizer来生成词表？
但我用如下代码，尝试用tokenizer生成词表，确报错了
en_tokenizer=keras.preprocessing.text.Tokenizer(num_words=None,filters=’’)
en_tokenizer.fit_on_texts(en.numpy() for pt,en in train_examples)
error：a bytes-like object is required, not ‘dict’

Answer 1

正十七 2021-08-07 16:03:24

你说的是tf.keras.preprocessing.text.Tokenizer和tfds.deprecated.text.SubwordTextEncoder的区别？

前者无法做subword啊，只能按照一些分隔符去呆呆的分词，后者可以帮你做subword切分。比如两个词语 “abc defg",

前者只能切成”abc" "defg" 或者 “a" "b", "c", "d", "e", "f", "g". 而后者可以切成 ”ab" "c" "de" "fg"类似的样子。

• 提问者 qq_慕前端4252840 #1

  非常感谢！