Chroma 教程 收藏

怎么评估效果

🎉摘要:RAG评估必备:详解recall@k、MRR、延迟(P50/P95)三大核心指标,强调50-100条标注测试集的必要性,并提供Python示例代码批量计算不同top_k下的召回率、MRR和平均检索耗时。

不做评估的 RAG 就是玄学。本身 RAG 链路很长,检索、重排、prompt、LLM 生成任意一环改动,效果都可能变好或者变坏,只靠人肉试几个问题,很容易被个别样本误导,形成“感觉效果不错,已上线就蹦”的虚假判断。

核心指标

当 RAG 开发完成后,一定要稳定测这三项核心指标:

recall@k:

在检索返回的前 k 个片段里,包含正确参考片段的样本占总样本的比例。这是检索阶段最核心的底线指标。

RAG 有一个硬约束:检索阶段把需要的上下文漏掉了,后面 LLM 再强、重排再精妙,也很难凭空变出正确信息。

召回上不去,后续所有优化基本都是无效投入。

MRR(Mean Reciprocal Rank,平均倒数排名)

关注第一个正确片段在返回列表里的位置,取倒数再求全部样本的均值。它衡量的是排序质量。同样能召回正确片段,但正确片段排在第 1 位和排在第 5 位,对 LLM 的影响差别很大;MRR 就是用来区分 “能找到” 和 “排在前面” 的。

例如:

  1. 检索时,RAG 会按相似度吐出一堆文档,第 1 名、第 2 名、第 3 名……

  2. 如果正确文档在第 1 位:倒数就是 1/1,得分 1; 在第 2 位:1/2,得分 0.5; 在第 3 位:1/3,得分约 0.33; 如果前 N 条里根本没找到正确文档:这条样本得 0。

  3. MRR 就是所有测试样本的这个分数取平均值。

延迟(Latency)

不能只看平均耗时,P50、P95 分位都要观测。

P50 代表一半请求能达到的速度,反映常规体验;P95 代表最差那 5% 的长尾请求耗时,往往对应长 query、大检索集、并发场景,是线上稳定性的关键。很多 RAG 方案召回、MRR 都好看,但长尾延迟爆炸,上线后很容易超时、卡顿。

注意了,评估样本也有硬性要求?

至少准备 50~100 条人工标注的测试集,样本要尽量贴合线上真实用户 query 的分布,不能只挑简单、好回答的问题。样本量太小,指标波动会非常大,改一个 chunk 大小、换一个 embedding 模型,指标忽高忽低,得出的结论没有统计可信度,评估也就失去了意义。

示例代码

下面通过一个简单示例来介绍如何统计上面介绍的三个核心指标:

import tempfile
import time
from chromadb.utils.embedding_functions import OllamaEmbeddingFunction
from demo.knowledge import KnowledgeBase
from demo.models import KBConfig


def evaluate(kb, cases: list[dict], rerank:bool=False, top_k_values=(1, 3, 5, 10)):
    """
    RAG 检索模块评估函数,批量计算不同 top_k 下的召回率、MRR、平均检索耗时
    Args:
        kb: 检索知识库对象,需要实现 search 方法;search(question, top_k) 返回命中结果列表,每个命中对象有 id 属性
        cases: 标注测试样本列表,单条样例结构:{"question": "用户问题", "relevant_ids": ["doc1#2", ...]}
               relevant_ids:该问题对应的**正确相关片段ID列表**,是标注的标准答案片段集合
        rerank: 是否启用重排,默认不启用
        top_k_values: 需要遍历评估的召回条数,例如 (1,3,5,10),分别测取前1、前3、前5、前10条的指标
    """

    # 打印表头,格式化对齐:top_k、recall、mrr、avg_ms
    print(f"{'top_k':>6} {'recall':>8} {'mrr':>8} {'avg_ms':>10}")

    # 遍历每一个待评估的top_k配置
    for k in top_k_values:
        # 保存当前k下所有样本的recall、mrr、检索耗时
        recalls, mrrs, times = [], [], []

        # 循环每一条标注测试case
        for case in cases:
            t0 = time.perf_counter()
            # 调用知识库检索,传入问题,指定本次返回top_k条结果
            hits = kb.search(case["question"], top_k=k)
            if rerank:
                hits = kb.rerank(case["question"], hits, top_k=k)
            # 计算检索耗时,单位转为毫秒,存入耗时列表
            times.append((time.perf_counter() - t0) * 1000)

            # 从检索返回结果里,提取所有命中片段的id
            got = [h.id for h in hits]
            # 把标注的相关id转为集合,方便交集判断
            truth = set(case["relevant_ids"])

            # 计算单样本recall:检索到的相关id数量 / 总相关id数量
            # max(len(truth),1) 防止分母为0(标注没有相关片段的极端case)
            recalls.append(len(set(got) & truth) / max(len(truth), 1))

            # 查找【第一个命中的正确片段】在返回列表里的位置(下标从0开始,rank从1开始)
            # 找不到则rank=0
            rank = next((i + 1 for i, g in enumerate(got) if g in truth), 0)
            # MRR单样本计算:找到则取排名倒数;找不到为0
            mrrs.append(1.0 / rank if rank else 0.0)

        # 求该top_k下所有样本的平均recall、平均MRR、平均耗时,格式化输出
        print(f"{k:>6} {sum(recalls) / len(recalls):>8.3f} "
              f"{sum(mrrs) / len(mrrs):>8.3f} {sum(times) / len(times):>10.1f}")



# 验证方法效果
if __name__ == "__main__":
    # 真实环境,用 Ollama 的 bge-m3 模型(先在 ollama 里 pull 并启动服务)
    ef = OllamaEmbeddingFunction(
        url="http://localhost:11434",
        model_name="bge-m3",
        timeout=60,
    )

    # 把 Ollama 的 EF 适配成 KnowledgeBase 要求的签名:
    # 输入一批文本,返回一批向量(list[list[float]])
    def my_embedding_func(texts: list[str]) -> list[list[float]]:
        return ef(texts)

    # 持久化路径用临时目录,跑完不留文件在项目里
    cfg = KBConfig(persist_path=tempfile.mkdtemp(prefix="kb_demo_"))
    kb = KnowledgeBase(cfg, embedder=my_embedding_func)

    # 灌一个文档:直接给若干片段(这里不演示切分,切分见上一节)
    chunks = [
        "退款流程:在订单页点申请退款,3 个工作日内到账。",
        "发票开具:在订单详情页申请电子发票,支持公司抬头。",
        "物流查询:发货后可在物流详情里看到实时进度。",
        "退货政策:签收 7 天内可无理由退货,质量问题免运费。",
    ]
    n = kb.add_document("refund_policy", chunks, meta={"source": "faq"})
    print(f"导入 {n} 个片段,当前共 {kb.count()} 个")
    cases = [
        {"question": "买的东西不想要了", "relevant_ids": ["refund_policy#0", "refund_policy#1"]},
        {"question": "发票怎么开", "relevant_ids": ["refund_policy#3"]},
    ]
    evaluate(kb, cases, rerank=False) # 不重排评估效果
    evaluate(kb, cases, rerank=True)  # 重排评估效果

运行代码,输出如下:

Loading weights: 100%|██████████| 201/201 [00:00<00:00, 667.60it/s]
导入 4 个片段,当前共 4 个
 top_k   recall      mrr     avg_ms
     1    0.250    0.500       87.6
     3    0.500    0.500       76.7
     5    1.000    0.625       96.1
    10    1.000    0.625       95.2
 top_k   recall      mrr     avg_ms
     1    0.250    0.500      127.9
     3    0.500    0.250      200.5
     5    1.000    0.375      231.6
    10    1.000    0.375      244.9

由于灌的内容太少了,效果不是很明显。

  

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号