工具调用时参数query问题

Question

在视频13分钟时，老师接口query入参为"龙年家中的cai位在哪里"， 但控制台的工具调用日志中query=2024， 这是为什么，我自己调试的时候也会出现工具调用的入参与接口的入参相差很大， 希望老师解惑。

Answer 1

tomiezhang 2024-10-30 11:31:02

这里实际上就是大模型在调用函数，截图里的问题是因为大模型在得到向工具询问的问题的时候，没有兼容处理类似\n换行的问题，如果要处理的好需要在提示词中规避这种情况，或者使用结构化输出来固化output的格式。你说的工具调用入参差距大有几个方面原因，一个是LLM本身的tool calling的能力问题，大模型如果在指令微调的时候tool calling不是很强，这里就会出问题，另一个是提示词质量，就像我前面说的有没有在提示词中做一些函数调用的约束，第三个是output的问题刚才也说了。

• 提问者 慕仔4276564 #1

  谢谢老师， 我还有一个问题，就是我在跟大模型交互时， 例如我输入的是"我今天好烦啊"， 我发现大模型也还是会去调用bazi_cesuan这个tools， 这是大模型的不够智能的问题，还是工具定义不够好的原因，或者是其它什么可能的原因。  如果是工具定义的问题， 但定义工具的时候也写清楚了 “只有做八字排盘或者八字测算的时候才会使用这个工具”，按道理大模型应该不会去调用这个工具了， 希望老师解惑

• 提问者 慕仔4276564 #2

  老师我还有一个疑惑，就是有时候我输入"我今天很烦啊"， 但大模型还是会去调用bazi_cesuan这个工具，这个工具定义是“只有做八字排盘或者八字测算的时候才会使用这个工具”， 这是为什么？ 是大模型不够智能的原因还是什么？

• tomiezhang 回复 提问者 慕仔4276564 #3

  跟参数问题类似，主要还是大模型在指令微调这块的能力，以及提示词的结构调整，你可以用类似openai或claude和其他的大模型比较就能看到区别。