langchain 本地模型的调用

Question

langchain如何调用ollama本地模型？

Answer 1

tomiezhang 5天前

课程里有演示了，基本上两种方法。
1. 直接使用langchain-ollama：

1 2 3 4 5 6 7 8

from langchain_ollama import ChatOllama   llm = ChatOllama(     model = "llama3",     temperature = 0.8,     num_predict = 256,     # 其他参数... )

不过这种问题比较多，比如版本兼容问题等。

2. 使用langchain-openai，这种方式的前提是ollama上跑的模型要遵从openai的API格式，理论上大部分模型都是可以的

1 2 3

from langchain_openai import ChatOpenAI   llm = ChatOpenAI(model=“ollama运行的模型名”,api_key="123",base_url="

• 提问者 慕慕2853146 #1

  微调后的本地化模型langchain用ollama方式调用？

• tomiezhang 回复 提问者 慕慕2853146 #2

  可以用ollama来调用，但是需要注意，你微调的模型本身是否支持结构化输出、支持工具调用等，这些都会影响实际的使用，尤其有时候你的模型的API接口不是遵循openai的api sdk格式，那么你还要自己去包装自定义的LLM接口才可以使用