Torch not compiled with CUDA enabled

Question

使用reranker模型的时候报错，

Answer 1

阿基米口 2025-05-05 20:49:06

1. 你可以先试下  pytorch 环境，看下是否是True

import torch
torch.cuda.is_available()

2. 你确认下，rerank模型是哪里下载的？ 看错误是说4bit和8bit的量化后的模型

• 慕标1049315 #1

  老师，我也遇到类似问题。我这边可以正常加载gte-large-zh，但换成bge-reranker-base就不行。模型是魔塔下的，课程给的链接。

• 阿基米口 回复 慕标1049315 #2

  你是有GPU显卡吗？ 没有的话，可以试下调整成cpu执行
  
  tokenizer = AutoTokenizer.from_pretrained(model_path)
  rerank_model = AutoModelForSequenceClassification.from_pretrained(model_path, device_map='cpu')
  # rerank_model = rerank_model.cuda()

• 慕标1049315 回复 阿基米口 #3

  回复 阿基米口：有显卡，也配置好了。同样的代码，加载gte-large-zh就可以，可以执行model.cuda()。但换成bge-reranker-base就不行了。我自己也在研究下，因为依赖包和课程不完全一致，很可能是这个原因。