RAG相似度阈值调参实战：过滤检索结果，减少无关文档混入

在 RAG（检索增强生成）应用中，检索阶段经常会把语义不相关的文档混进上下文，导致回答质量下降。相似度阈值调参就是解决这个问题的关键手段：通过设定一个最低相似度分数，把低于阈值的文档直接过滤掉，只保留高相关片段。
本文用通俗的语言和可运行的代码，帮你理解阈值作用、掌握调参方法，并避开常见的坑。

先搞清楚相似度阈值是什么

RAG 检索时，系统会把用户问题转换成向量，然后和知识库里的文档向量做相似度计算。
常见模型返回的是 0 到 1 之间的分数（也有 -1 到 1 的），分数越高表示和问题越相关。
相似度阈值就是一条分界线：低于这个分数的文档，直接视为无关，不进入后续生成步骤。
这样能显著减少上下文噪音，提升回答准确率。

调参前需要准备什么

调参不需要额外硬件，只需一个可运行的 RAG 环境。
如果你用 Python，需要安装 LangChain 和向量数据库（如 Chroma 或 FAISS）。

pip install langchain langchain-community chromadb

另外准备一批测试文档，最好包含与主题相关和无关的内容，否则无法观察过滤效果。

核心操作：在代码里设置相似度阈值

方法一：使用 LangChain 的 similarity_score_threshold

LangChain 的向量检索器支持直接设置相似度分数下限，示例代码：

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
vectorstore = Chroma(persist_directory="./db", embedding_function=embeddings)

retriever = vectorstore.as_retriever(
    search_type="similarity_score_threshold",
    search_kwargs={"score_threshold": 0.6}
)

docs = retriever.invoke("RAG 相似度阈值怎么调？")
print(docs)

当设置为 0.6 时，只返回相似度高于 0.6 的文档。
如果低于这个值，返回列表可能为空。

方法二：手动过滤相似度分数

如果你的框架不支持直接设置阈值，可以先把检索结果全部取回来，再按分数过滤：

docs_with_scores = vectorstore.similarity_search_with_score("你的问题", k=10)
filtered = [(doc, score) for doc, score in docs_with_scores if score > 0.6]

手动过滤直观易懂，也方便查看具体分数分布。

如何选择合适的阈值

没有一个固定阈值能适配所有项目。
不同 Embedding 模型、不同文档领域、不同语言，分数分布差异很大。
建议按下面的流程操作：

1. 先不设阈值，用 similarity_search_with_score 调出所有结果的分数。
2. 观察相关文档和无关文档的分数区间，找出分界点。
3. 从分界点向上加 0.05 或 0.1，作为初始阈值。
4. 用测试问题验证，如果结果太少就降低，如果无关文档混入就提高。

一般控制在 0.5 到 0.8 之间，但也要看模型实际输出。不要盲目照搬别人的阈值，先看自己数据的分值。

常见问题与避坑

阈值设太高导致查不到结果：这很常见。
如果检索器返回空列表，优先降低阈值，或者先打印分数分布，确认是不是模型分数普遍偏低。

不同模型分数范围差异大：有的模型喜欢打高分，有的整体偏低。
建议统一向量模型后，再固定阈值，不要在换模型后沿用旧值。

阈值只是前期过滤：它能把明显不相关的文档挡在门外，但无法完全解决语义相近但信息错误的问题。
如果业务对精准度要求高，可以在检索后面加一个重排序环节。

中文场景要额外留意：国产 Embedding 模型对中文支持较好，但阈值范围可能和英文模型不一致。
务必用真实中文问题跑一遍再调。

验证调整效果

调参后不能只看一两个例子，建议准备一组验证问题，比较过滤前后文档数量和相关性：

# 打印过滤前后文档数
all_docs = vectorstore.similarity_search_with_score(query, k=10)
filtered_docs = [d for d, s in all_docs if s > 0.6]
print(f"检索前：{len(all_docs)} 条，过滤后：{len(filtered_docs)} 条")

逐个检查保留文档是否与问题相关，同时观察最终生成的答案是否更准确。
如果发现仍有无关内容混入，继续微调阈值；
如果答案缺少关键信息，说明阈值偏高，适当下调。

相似度阈值调参的关键就是找到自己的数据分布，再设定分界线。 多跑几组测试问题，多做几次对比，才能让 RAG 系统既保留足够信息，又过滤掉噪音。