prompt.partial(format_instructions=parser.get_format_instructions())是起什么作用的

Question

老师您好，这块我用您给的提示词来解析用户输入的问题，老是出现参数识别不准或是掉了某个参数，导致查询失败了，特别是这块的内容，不是很理解，按道理来说这个参数应该在提示词中显性标识出来，这种写法意思在提示词插入这个format_instructions？

这块麻烦老师给个解释

Answer 1

tomiezhang 2024-04-25 15:18:58

你提出了一个好问题，这里没有细讲，partial主要是将部分变量在提示词中实例化，最常见的场景是对日期的渲染，比如你的提示词中希望提示词被触发时，自动渲染当前的时间，但是又不能硬编码时间，就需要用到它，类似：

1 2 3 4 5 6 7 8 9 10 11 12 13

from datetime import datetime     def _get_datetime():     now = datetime.now()     return now.strftime("%m/%d/%Y, %H:%M:%S")        prompt = PromptTemplate(     template="Tell me a {adjective} joke about the day {date}",     input_variables=["adjective", "date"], ) partial_prompt = prompt.partial(date=_get_datetime) print(partial_prompt.format(adjective="funny"))

那么在课程这个例子里比较特殊的地方是，format_instructions并没有显式的传入到prompt中，但是实际上这个过程langchain是在内部处理了。我们使用了ChatPromptTemplate,阅读源码可以看到，它有一个format方法：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

def format(self, **kwargs) -> str:     # Get the partial variables and update with kwargs     partial_kwargs = self.partial_variables.copy()     partial_kwargs.update(kwargs)       # Format the messages     formatted_messages = []     for message in self.messages:         if isinstance(message, BaseMessagePromptTemplate):             formatted_messages.append(message.format(**partial_kwargs))         elif isinstance(message, BaseMessage):             formatted_messages.append(message.content)         else:             raise ValueError(f"Unexpected message type: {type(message)}")       return self.output_parser.format(formatted_messages)

它主要做的几件事：

1.复制partial_variables字典,并使用kwargs参数更新它。这样可以确保kwargs中提供的任何变量都会覆盖partial_variables中的对应变量。

2.遍历messages列表,对于每个消息,根据其类型进行格式化:

. 如果消息是BaseMessagePromptTemplate的实例,则调用其format方法,并传入更新后的partial_kwargs。

 如果消息是BaseMessage的实例,则直接使用其content属性。

 如果消息类型不是以上两种,则抛出ValueError异常。

3.将格式化后的消息列表传递给output_parser的format方法进行最终的格式化。

当我们调用prompt.partial(format_instructions=parser.get_format_instructions())时,实际上是在修改ChatPromptTemplate对象的partial_variables属性。在这种情况下,format_instructions被添加到partial_variables字典中,其值为parser.get_format_instructions()返回的格式化指令。当我们最终调用chain.invoke方法时,Langchain库会在内部调用prompt.format方法来格式化提示模板。在format方法内部,它会检查partial_variables字典,并将其中的变量替换到提示模板中对应的占位符上。所以,即使在提示模板中没有显式地包含{format_instructions}占位符,Langchain库也会在内部将format_instructions的值插入到提示字符串的适当位置。

• 提问者 慕标8269443 #1

  好的，谢谢老师的解答，大致理解，这里多问一句疑问，我根据您的指示，去看了ChatPromptTemplate的源码，里面涉及到format的实现，但是与老师上面贴的代码不一致，请问这是langchain版本的问题吗？还是我找错了地方，下面是我找到的源码
      def format(self, **kwargs: Any) -> str:
          """Format the chat template into a string.
  
          Args:
              **kwargs: keyword arguments to use for filling in template variables
                        in all the template messages in this chat template.
  
          Returns:
              formatted string
          """
          return self.format_prompt(**kwargs).to_string()
  麻烦老师给个指引

• tomiezhang 回复 提问者 慕标8269443 #2

  https://github.com/langchain-ai/langchain/blob/master/libs/core/langchain_core/prompts/chat.py#L1067 可以看下这里对partial_variables的维护和使用

• 提问者 慕标8269443 #3

  非常感谢！

点开查看后面1条评论