本地模型能力有限

Question

老师我是以ollama的方式在本地运行模型，现在运行30b的模型。在之前的结构化返回内容时我的模型表现就不如238B的模型。我公司也是以ollama方式运行，硬件条件不是很清楚。如果条件不是很好，能运行的模型规模不大。那是不是智能体的表现也不好啊，模型要多少规模才能合适智能体开发？

Answer 1

Sam 2025-07-18 22:14:21

30B参数比较适合执行确定流程的智能体，但需要提供更多的提示词和引导信息。如果想让智能体具备更强的自主思考能力，来应对未知的状况，确实需要更大尺寸的模型才能实现。

• 提问者 Augustus5030606 #1

  还有就是在结构化返回的那节课，parser.get_format_instructions()这个函数返回的schema和我们定义的Output(BaseModel的子类)不一样。但是我们输出的结构却是Output，那么parser有什么用呢，我们直接在prompt中写Output的结构或者示例就好了

• Sam 回复 提问者 Augustus5030606 #2

  parser的用途是在返回体不符合规范时抛出异常，这样可以避免后续执行的错误

• 提问者 Augustus5030606 回复 Sam #3

  明白了，谢谢老师