langchain 本地模型的调用

Question

langchain如何调用ollama本地模型？

Answer 1

tomiezhang 2025-03-27 03:09:59

课程里有演示了，基本上两种方法。
1. 直接使用langchain-ollama：

from langchain_ollama import ChatOllama

llm = ChatOllama(
    model = "llama3",
    temperature = 0.8,
    num_predict = 256,
    # 其他参数...
)

不过这种问题比较多，比如版本兼容问题等。

2. 使用langchain-openai，这种方式的前提是ollama上跑的模型要遵从openai的API格式，理论上大部分模型都是可以的

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model=“ollama运行的模型名”,api_key="123",base_url="

• 提问者 慕慕2853146 #1

  微调后的本地化模型langchain用ollama方式调用？

• tomiezhang 回复 提问者 慕慕2853146 #2

  可以用ollama来调用，但是需要注意，你微调的模型本身是否支持结构化输出、支持工具调用等，这些都会影响实际的使用，尤其有时候你的模型的API接口不是遵循openai的api sdk格式，那么你还要自己去包装自定义的LLM接口才可以使用