本地部署embeding模型，使用bge-large-zh-v1.5，如何使用langchain集成

Question

老师您好，我想要在本地部署embeding模型，使用bge-large-zh-v1.5。我该如何使用langchain集成调用呀？

Answer 1

tomiezhang 2025-02-17 00:39:01

你好BGE在hugging face上部署，你可以使用HuggingFaceBgeEmbeddings来调用：

from langchain_community.embeddings import HuggingFaceBgeEmbeddings

model_name = "BAAI/bge-small-en"
model_kwargs = {"device": "cpu"}
encode_kwargs = {"normalize_embeddings": True}
hf = HuggingFaceBgeEmbeddings(
    model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs
)

如果是本地部署的话，要看一下你是使用的什么软件进行的部署，如果是ollama的话，可以这样：

from langchain_ollama import OllamaEmbeddings

embeddings = OllamaEmbeddings(
    model="bge-large-zh-v1.5",
)

• 提问者 qq_江_3 #1

  老师，ollama可以部署embedding模型吗？我在ollama官网搜索bge-large-zh-v1.5，pull到本地了下载量最高的，但是要如何运行呀？我使用ollama run 名称，报错呢。

• 提问者 qq_江_3 #2

  from langchain_ollama import OllamaEmbeddings
   
  embeddings = OllamaEmbeddings(
      model="quentinz/bge-large-zh-v1.5",  # 添加 quentinz/ 前缀
      base_url="http://localhost:11434" 
  )
  
  vector = embeddings.embed_query("你好")
  
  print(vector)
  需要指定base_url，不然提示链接不到ollama，已解决