map_reduce_chain.invoke()执行报错

Question

使用的智普的接口，这个报错怎么解决呢？看起来是连不上huggingface，我猜应该可以改写成加载本地模型，但不清楚怎么修改。

Answer 1

tomiezhang 2025-02-28 01:42:58

没开梯子吧，国内远程拉hg很慢或者不可用，要么魔法上网，要么自己把gpt2这个分词器下载下来，然后这样调用：

from transformers import GPT2TokenizerFast

# 1. 首先下载模型到指定目录
tokenizer = GPT2TokenizerFast.from_pretrained('gpt2', cache_dir='./models/gpt2')

# 2. 之后使用本地模型
tokenizer = GPT2TokenizerFast.from_pretrained('./models/gpt2')

• 提问者 慕标1049315 #1

  我补充一下，使用自定义的tokenizer(随便选一个模型都行，更通用的是使用transformers.AutoTokenizer），然后在初始化大模型的时候传参进去。
  llm = ChatZhipuAI(
      model="glm-4",
      temperature=0, 
      api_key='your_key',
      custom_get_token_ids=tokenizer
  )