tool调用原理问题

Question

老师，当历史记录里已经保存了用户的名字和出生年月日，当提问：算一下我的八字，然后程序调用八字测试工具bazi_cesuan(query)函数时，调试的时候发现query变量已经赋值为用户姓名和出生年月日了，这个从历史记录中自动提取用户姓名和出生年月日是怎么做到的呀？它怎么知道要从历史记录中提取这些信息的？这块不太理解

Answer 1

tomiezhang 2024-06-14 15:33:34

1. 大模型必须要做针对tool call的指令微调，这块你可以简单理解为教大模型，什么情景下要返回函数，什么情况下返回文本。

2. 做过指令微调的大模型就具备了tool调用的能力，但是你需要prompt配合才可以

3. 在prompt里嵌入了tool的描述，比如有3个工具分别是做什么用的，有什么参数要求

4. invoke调用的时候，会把问题+嵌入了工具描述的prompt一并给到大模型

5. 大模型根据它的指令微调成果来决策选取工具还是返回文本

大概的原理就是这样，所以为什么在0.1版本前这里出错率很很高，基本都是大模型在工具调用的时候出现了幻觉，0.2开始官方也推荐大家使用tool call的方式，更精准和安全的使用工具。