deepseek模型分词中文丢失

Question

上面使用 deepseek-v3.2模型，分词结果中文丢失了，使用 deepseek-v3 版本也是一样的，我看老师你讲课过程中是直接能够输出结果的，是我这边缺少了什么设置吗？
环境信息：
transformers=5.3.0
Python=3.12.13

Answer 1

Dream哥 8小时前

看代码应该没有问题

Answer 2

Dream哥 4天前

tokenize之后应该是ID才对呀？

• 提问者 BlueFish0702 #1

  text = "你好，这是一个Token计算示例。Hello World!"
  result = tokenizer.encode(text)
  result
  [14907, 19923, 21133, 3]  
  
  这个结果明显是不对的