相关性结果返回问题

Question

老师，怎么返回的结果是重复的？

Answer 1

tomiezhang 2024-05-24 15:50:17

你好，我重新安装并运行了下代码，也出现了你说的问题：
依赖环境：

langchain==0.0.279
openai==0.27.8
sentence-transformers==2.7.0

经过分析，出现问题是因为依赖的huggingface包升级了接口，其中负责从hugggface下载模型的接口有变化，导致模型加载问题，进而影响了embedding的结果。

1. 如果你继续使用以上的版本学习，可以在  你的python安装地址\Lib\site-packages\huggingface_hub\file_download.py:1120 处添加force_download=True。然后重启你的笔记本，即可看到与视频教学中一样的效果。

2. 如果使用新版本的langchain，你可以参考最新的官方使用页面：https://python.langchain.com/v0.2/docs/integrations/text_embedding/huggingfacehub langchain 2.0版本里对langchain包进行了大的拆分，对于一些主流平台进行了单独封装，比如huggingface就单独封了一个langchain_huggface包，和以前全部放在langchain一个包里不一样。
   

Answer 2

tomiezhang 2024-05-22 15:54:59

search_kwargs={"k":10}
你设置了K值为10，即要求返回与问题最相关的10条内容，但是示例里的内容是不够10条的，所以就出现了重复，K值一定是要小于你要检索的内容长度的

• 提问者 lieh1203 #1

  老师，我截图没贴全，有10条的
  
  from langchain.chains import LLMChain,StuffDocumentsChain
  from langchain.document_transformers import (
      LongContextReorder
  )
  from langchain.embeddings import HuggingFaceBgeEmbeddings
  from langchain.vectorstores import  Chroma
  
  #使用huggingface托管的开源LLM来做嵌入，MiniLM-L6-v2是一个较小的LLM 
  embedings = HuggingFaceBgeEmbeddings(model_name="all-MiniLM-L6-v2")
  
  text = [
      "篮球是一项伟大的运动。",
      "带我飞往月球是我最喜欢的歌曲之一。",
      "凯尔特人队是我最喜欢的球队。",
      "这是一篇关于波士顿凯尔特人的文件。",
      "我非常喜欢去看电影。",
      "波士顿凯尔特人队以20分的优势赢得了比赛。",
      "这只是一段随机的文字。",
      "《艾尔登之环》是过去15年最好的游戏之一。",
      "L.科内特是凯尔特人队最好的球员之一。",
      "拉里.伯德是一位标志性的NBA球员。"
  ]
  
  retrieval = Chroma.from_texts(text,embedings).as_retriever(
      search_kwargs={"k": 10}
  )
  query = "关于凯尔特人队你知道什么?"
  
  #根据相关性返回文本块
  docs = retrieval.get_relevant_documents(query)
  docs

• tomiezhang 回复 提问者 lieh1203 #2

  关于凯尔特人的信息没有10条那么多，K值设置太大了

• 提问者 lieh1203 回复 tomiezhang #3

  回复 tomiezhang：那老师的视频，里面k也是设置的10呀，问的也是“关于凯尔特人队你知道什么?”，返回的结果也没有重复呀？相关性高的显示在前面，是怎么回事？