Chroma 教程 收藏

检索之后加一层重排

🎉摘要:针对向量检索bi-encoder粗召回混入无关片段的问题,本文通过Cross-Encoder重排模型bge-reranker-base实现两级检索:先粗召回20~50条候选,再用重排模型细粒度打分取Top5。代码接入RAGService并设置min_similarity过滤,实测发票问题重排后无关chunk相似度降至0.0,精准命中发票片段,验证了重排对RAG召回准确度的显著提升。

前面章节测试的时候发现一个问题:问 “发票怎么开”,向量检索(bi-encoder)把退款条件、退款流程这些不太相关的片段一起召回了。这种情况业界通用做法是加一层 cross-encoder 重排来优化。

具体流程图如下:

向量检索(bi-encoder)推理快、吞吐高,适合在大量文档里先粗捞一批候选,但它的匹配粒度比较粗,准确度一般。就像这个例子,退款政策切出来的 3 个 chunk 全都被捞出来了,里面混着退款、售后这些无关内容。它算的是整个 chunk 的整体相似度,没办法分辨片段里面哪一小段才是真正和问题有关的。

而重排(cross-encoder)模型不一样,它会把用户问题和候选片段拼在一起输入,做细粒度的语义匹配,可以精准识别 chunk 内部哪些内容和问题是强相关的,匹配效果比 bi-encoder 好很多。缺点是不能提前预生成向量,没法用向量索引加速,每一条候选都要单独跑推理,速度慢、耗算力,直接对全部文档跑重排肯定行不通。

所以现在通用的做法是做成两级检索:先用向量检索粗召回 20~50 条,把候选数量从海量压缩到一小批;再交给重排模型重新打分排序,挑相关性最高的前 5 条,再丢给 LLM 去生成回答。

下面就通过代码来实现这层逻辑:

import os

# 国内直接连 hf 下载容易超时,用国内镜像
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

class Reranker:
    """重排器"""
    def __init__(self, model_name="BAAI/bge-reranker-base"):
        self.model = CrossEncoder(model_name)

    def rerank(self, query: str, chunks: list[RetrievedChunk], top_k: int = 5):
        if not chunks:
            return []
        pairs = [[query, c.text] for c in chunks]
        scores = self.model.predict(pairs)
        order = sorted(range(len(chunks)), key=lambda i: -scores[i])[:top_k]
        return [(chunks[i], float(scores[i])) for i in order]

上面代码, 第一次运行时,会从 HuggingFace(已改为从国内镜像)自动下载 BAAI/bge-reranker-base 模型文件,缓存到本地;后续再启动就直接读缓存,不再重复下载。

注意:模型是加载到本机内存 / 显存,所有计算在本地完成。

将 Reranker(重排器)接入到 RAGService 服务中的完整代码如下:

import os

# 国内直接连 hf 下载容易超时,用国内镜像
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

import tempfile
from chromadb.utils.embedding_functions import OllamaEmbeddingFunction
from demo.prompt_utils import build_prompt
from demo.knowledge import KnowledgeBase
from demo.models import KBConfig, RetrievedChunk
from demo.chunk import split_markdown
from demo.llm import OpenAILLM
from sentence_transformers import CrossEncoder

# 持久化示例写到临时目录,工作目录保持干净
os.chdir(tempfile.mkdtemp(prefix="chroma_demo_"))


class Reranker:
    """重排器"""
    def __init__(self, model_name="BAAI/bge-reranker-base"):
        self.model = CrossEncoder(model_name)

    def rerank(self, query: str, chunks: list[RetrievedChunk], top_k: int = 5):
        if not chunks:
            return []
        pairs = [[query, c.text] for c in chunks]
        scores = self.model.predict(pairs)
        order = sorted(range(len(chunks)), key=lambda i: -scores[i])[:top_k]
        return [(chunks[i], float(scores[i])) for i in order]


class RAGService:
    """知识库问答服务"""
    def __init__(self, kb: KnowledgeBase, llm, top_k: int = 5,
                 min_similarity: float | None = None):
        self.kb = kb
        self.llm = llm
        self.top_k = top_k
        self.min_similarity = min_similarity
        self.reranker = Reranker()

    def answer(self, question: str, where: dict | None = None) -> dict:
        chunks = self.kb.search(question, top_k=self.top_k, where=where)

        print(f"重排前:{[(c.id, c.similarity) for c in chunks]}")
        # 重排【重点】
        chunks = [RetrievedChunk(
            id=rank[0].id,
            text=rank[0].text,
            metadata=rank[0].metadata,
            distance=rank[0].distance,
            similarity=rank[1],
        ) for rank in self.reranker.rerank(question, chunks)]
        print(f"重排后:{[(c.id, c.similarity) for c in chunks]}")

        # 相似度过滤:低于阈值的不喂给模型,省得它瞎编
        if self.min_similarity is not None:
            chunks = [c for c in chunks
                      if c.similarity is None or c.similarity >= self.min_similarity]

        if not chunks:
            return {
                "answer": "资料中没有提到相关内容。",
                "sources": [],
                "has_context": False,
            }

        # 构建提示词
        prompt = build_prompt(question, chunks)
        print(f"prompt:")
        print("=" * 40)
        print(prompt)
        print("=" * 40)

        # LLM对话
        answer = self.llm.complete(prompt)

        return {
            "answer": answer,
            "sources": [
                {"id": c.id, "doc_id": c.metadata.get("doc_id"),
                 "similarity": round(c.similarity, 4) if c.similarity else None,
                 "text": c.text[:200]}
                for c in chunks
            ],
            "has_context": True,
        }


if __name__ == "__main__":
    # 真实环境,用 Ollama 的 bge-m3 模型(先在 ollama 里 pull 并启动服务)
    ef = OllamaEmbeddingFunction(
        url="http://localhost:11434",
        model_name="bge-m3",
        timeout=60,
    )

    # 自定义嵌入函数
    def my_embedding_func(texts: list[str]) -> list[list[float]]:
        return ef(texts)

    # 1) 建知识库:注入配置和嵌入器
    kb = KnowledgeBase(config=KBConfig(), embedder=my_embedding_func)

    # 2) 建服务:使用 AiCore API 代理,注册地址 https://api.xty.app/register?aff=pO2q,有免费额度
    # Ollama 本地跑太慢了
    llm = OpenAILLM(base_url="https://api.xty.app/v1", model="qwen-max")
    rag = RAGService(kb, llm, top_k=3, min_similarity=0.5) # 调整 min_similarity,过滤低相似度chunk

    # 3) 导入一份文档(按 markdown 标题切分)
    doc = """
    # 退款政策

    ## 一、申请条件
    订单在签收后 7 天内,且商品未影响二次销售的,可以申请无理由退货。
    定制类商品、已拆封的音像制品、虚拟商品不在无理由退货范围内。

    ## 二、申请流程
    在"我的订单"页面找到对应订单,点击"申请退款",填写原因并提交。
    客服会在 24 小时内审核,审核通过后退款将在 3-5 个工作日退回原支付账户。

    ## 三、特殊情况
    如果商品存在质量问题,不受 7 天限制,可以随时申请,且运费由我们承担。

    ## 四、发票
    电子发票可以在"个人中心-发票管理"里自助开具,开票后 24 小时内发送到预留邮箱。
    """
    chunks = [t for t, _ in split_markdown(doc, chunk_size=150, overlap=30)]
    n = kb.add_document("refund_policy", chunks, meta={"category": "售后", "year": 2026})
    print(f"导入 {n} 个片段,库里共 {kb.count()} 条")

    # 4) 问答
    for q in ["买的东西不想要了,钱能退回来吗", "发票怎么开"]:
        r = rag.answer(q)
        print(f"问题:{q}")
        print(f"回答:{r['answer']}")
        print("来源:")
        for idx, c in enumerate(r["sources"], 1):
            print(f"[{c["id"]}] sim={c["similarity"]} => {c["text"]}")
        print("\n\n")

运行代码,分析输出的内容:

Loading weights: 100%|██████████| 201/201 [00:00<00:00, 875.13it/s]  加载模型
导入 3 个片段,库里共 3 条
重排前:[('refund_policy#1', 0.7277417778968811), ('refund_policy#0', 0.7183234691619873), ('refund_policy#2', 0.6727904081344604)]
重排后:[('refund_policy#0', 0.6817367076873779), ('refund_policy#1', 0.6096324920654297), ('refund_policy#2', 0.37079504132270813)]
prompt:
========================================
你是一个客服助手。请只根据下面提供的资料回答用户的问题。
如果资料里没有相关信息,就明确说"资料中没有提到",不要编造。
回答时请注明你参考了哪条资料(用 [id] 标注)。

资料:
[refund_policy#0] 【退款政策】

    ## 一、申请条件
    订单在签收后 7 天内,且商品未影响二次销售的,可以申请无理由退货。
    定制类商品、已拆封的音像制品、虚拟商品不在无理由退货范围内。

[refund_policy#1] 【退款政策】
定制类商品、已拆封的音像制品、虚拟商品不在无理由退货范围内。    ## 二、申请流程
    在"我的订单"页面找到对应订单,点击"申请退款",填写原因并提交。
    客服会在 24 小时内审核,审核通过后退款将在 3-5 个工作日退回原支付账户。


用户问题:买的东西不想要了,钱能退回来吗

回答:
========================================
问题:买的东西不想要了,钱能退回来吗
回答:根据您的情况,如果您购买的商品不是定制类商品、已拆封的音像制品或虚拟商品,并且在签收后7天内未影响二次销售的话,是可以申请无理由退货的。您可以在"我的订单"页面找到对应的订单,点击"申请退款",填写原因并提交。客服会在24小时内进行审核,一旦审核通过,退款将在3-5个工作日内退回到您的原支付账户。[refund_policy#0][refund_policy#1]
来源:
[refund_policy#0] sim=0.6817 => 【退款政策】

    ## 一、申请条件
    订单在签收后 7 天内,且商品未影响二次销售的,可以申请无理由退货。
    定制类商品、已拆封的音像制品、虚拟商品不在无理由退货范围内。
[refund_policy#1] sim=0.6096 => 【退款政策】
定制类商品、已拆封的音像制品、虚拟商品不在无理由退货范围内。    ## 二、申请流程
    在"我的订单"页面找到对应订单,点击"申请退款",填写原因并提交。
    客服会在 24 小时内审核,审核通过后退款将在 3-5 个工作日退回原支付账户。



重排前:[('refund_policy#2', 0.5565662384033203), ('refund_policy#1', 0.46001458168029785), ('refund_policy#0', 0.4485142230987549)]
重排后:[('refund_policy#2', 0.696745753288269), ('refund_policy#1', 0.0002409344306215644), ('refund_policy#0', 0.00015600734332110733)]
prompt:
========================================
你是一个客服助手。请只根据下面提供的资料回答用户的问题。
如果资料里没有相关信息,就明确说"资料中没有提到",不要编造。
回答时请注明你参考了哪条资料(用 [id] 标注)。

资料:
[refund_policy#2] 【退款政策】
内审核,审核通过后退款将在 3-5 个工作日退回原支付账户。    ## 三、特殊情况
    如果商品存在质量问题,不受 7 天限制,可以随时申请,且运费由我们承担。

    ## 四、发票
    电子发票可以在"个人中心-发票管理"里自助开具,开票后 24 小时内发送到预留邮箱。


用户问题:发票怎么开

回答:
========================================
问题:发票怎么开
回答:您可以在"个人中心-发票管理"里自助开具电子发票,开票后24小时内会发送到您的预留邮箱。[refund_policy#2]
来源:
[refund_policy#2] sim=0.6967 => 【退款政策】
内审核,审核通过后退款将在 3-5 个工作日退回原支付账户。    ## 三、特殊情况
    如果商品存在质量问题,不受 7 天限制,可以随时申请,且运费由我们承担。

    ## 四、发票
    电子发票可以在"个人中心-发票管理"里自助开具,开票后 24 小时内发送到预留邮箱。

分析输出日志,第一个问题检索的 chunk 重排后,两个分片 sim 为 0.6,另一个为 0.3。第二个文件只有一个 chunk 为 0.6,另外两个为 0.0,同时我们也将 min_similarity 调整为了 0.5,最终第一个问题引用了两个 chunk,第二个问题引用了一个 chunk,符合我们的预期。

注意,首次运行,需要耗费更多的时间,因为需要下载 BAAI/bge-reranker-base 模型,下载后默认放在 C:\Users\Administrator\.cache\huggingface\hub 目录,如下图:

重排的代价是延迟(每个候选都要过一遍模型),所以 recall_k 别开太大,20~50 之间比较合理。

 

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号