不做评估的 RAG 就是玄学。本身 RAG 链路很长,检索、重排、prompt、LLM 生成任意一环改动,效果都可能变好或者变坏,只靠人肉试几个问题,很容易被个别样本误导,形成“感觉效果不错,已上线就蹦”的虚假判断。
当 RAG 开发完成后,一定要稳定测这三项核心指标:
在检索返回的前 k 个片段里,包含正确参考片段的样本占总样本的比例。这是检索阶段最核心的底线指标。
RAG 有一个硬约束:检索阶段把需要的上下文漏掉了,后面 LLM 再强、重排再精妙,也很难凭空变出正确信息。
召回上不去,后续所有优化基本都是无效投入。
关注第一个正确片段在返回列表里的位置,取倒数再求全部样本的均值。它衡量的是排序质量。同样能召回正确片段,但正确片段排在第 1 位和排在第 5 位,对 LLM 的影响差别很大;MRR 就是用来区分 “能找到” 和 “排在前面” 的。
例如:
检索时,RAG 会按相似度吐出一堆文档,第 1 名、第 2 名、第 3 名……
如果正确文档在第 1 位:倒数就是 1/1,得分 1; 在第 2 位:1/2,得分 0.5; 在第 3 位:1/3,得分约 0.33; 如果前 N 条里根本没找到正确文档:这条样本得 0。
MRR 就是所有测试样本的这个分数取平均值。
不能只看平均耗时,P50、P95 分位都要观测。
P50 代表一半请求能达到的速度,反映常规体验;P95 代表最差那 5% 的长尾请求耗时,往往对应长 query、大检索集、并发场景,是线上稳定性的关键。很多 RAG 方案召回、MRR 都好看,但长尾延迟爆炸,上线后很容易超时、卡顿。
注意了,评估样本也有硬性要求?
至少准备 50~100 条人工标注的测试集,样本要尽量贴合线上真实用户 query 的分布,不能只挑简单、好回答的问题。样本量太小,指标波动会非常大,改一个 chunk 大小、换一个 embedding 模型,指标忽高忽低,得出的结论没有统计可信度,评估也就失去了意义。
下面通过一个简单示例来介绍如何统计上面介绍的三个核心指标:
import tempfile
import time
from chromadb.utils.embedding_functions import OllamaEmbeddingFunction
from demo.knowledge import KnowledgeBase
from demo.models import KBConfig
def evaluate(kb, cases: list[dict], rerank:bool=False, top_k_values=(1, 3, 5, 10)):
"""
RAG 检索模块评估函数,批量计算不同 top_k 下的召回率、MRR、平均检索耗时
Args:
kb: 检索知识库对象,需要实现 search 方法;search(question, top_k) 返回命中结果列表,每个命中对象有 id 属性
cases: 标注测试样本列表,单条样例结构:{"question": "用户问题", "relevant_ids": ["doc1#2", ...]}
relevant_ids:该问题对应的**正确相关片段ID列表**,是标注的标准答案片段集合
rerank: 是否启用重排,默认不启用
top_k_values: 需要遍历评估的召回条数,例如 (1,3,5,10),分别测取前1、前3、前5、前10条的指标
"""
# 打印表头,格式化对齐:top_k、recall、mrr、avg_ms
print(f"{'top_k':>6} {'recall':>8} {'mrr':>8} {'avg_ms':>10}")
# 遍历每一个待评估的top_k配置
for k in top_k_values:
# 保存当前k下所有样本的recall、mrr、检索耗时
recalls, mrrs, times = [], [], []
# 循环每一条标注测试case
for case in cases:
t0 = time.perf_counter()
# 调用知识库检索,传入问题,指定本次返回top_k条结果
hits = kb.search(case["question"], top_k=k)
if rerank:
hits = kb.rerank(case["question"], hits, top_k=k)
# 计算检索耗时,单位转为毫秒,存入耗时列表
times.append((time.perf_counter() - t0) * 1000)
# 从检索返回结果里,提取所有命中片段的id
got = [h.id for h in hits]
# 把标注的相关id转为集合,方便交集判断
truth = set(case["relevant_ids"])
# 计算单样本recall:检索到的相关id数量 / 总相关id数量
# max(len(truth),1) 防止分母为0(标注没有相关片段的极端case)
recalls.append(len(set(got) & truth) / max(len(truth), 1))
# 查找【第一个命中的正确片段】在返回列表里的位置(下标从0开始,rank从1开始)
# 找不到则rank=0
rank = next((i + 1 for i, g in enumerate(got) if g in truth), 0)
# MRR单样本计算:找到则取排名倒数;找不到为0
mrrs.append(1.0 / rank if rank else 0.0)
# 求该top_k下所有样本的平均recall、平均MRR、平均耗时,格式化输出
print(f"{k:>6} {sum(recalls) / len(recalls):>8.3f} "
f"{sum(mrrs) / len(mrrs):>8.3f} {sum(times) / len(times):>10.1f}")
# 验证方法效果
if __name__ == "__main__":
# 真实环境,用 Ollama 的 bge-m3 模型(先在 ollama 里 pull 并启动服务)
ef = OllamaEmbeddingFunction(
url="http://localhost:11434",
model_name="bge-m3",
timeout=60,
)
# 把 Ollama 的 EF 适配成 KnowledgeBase 要求的签名:
# 输入一批文本,返回一批向量(list[list[float]])
def my_embedding_func(texts: list[str]) -> list[list[float]]:
return ef(texts)
# 持久化路径用临时目录,跑完不留文件在项目里
cfg = KBConfig(persist_path=tempfile.mkdtemp(prefix="kb_demo_"))
kb = KnowledgeBase(cfg, embedder=my_embedding_func)
# 灌一个文档:直接给若干片段(这里不演示切分,切分见上一节)
chunks = [
"退款流程:在订单页点申请退款,3 个工作日内到账。",
"发票开具:在订单详情页申请电子发票,支持公司抬头。",
"物流查询:发货后可在物流详情里看到实时进度。",
"退货政策:签收 7 天内可无理由退货,质量问题免运费。",
]
n = kb.add_document("refund_policy", chunks, meta={"source": "faq"})
print(f"导入 {n} 个片段,当前共 {kb.count()} 个")
cases = [
{"question": "买的东西不想要了", "relevant_ids": ["refund_policy#0", "refund_policy#1"]},
{"question": "发票怎么开", "relevant_ids": ["refund_policy#3"]},
]
evaluate(kb, cases, rerank=False) # 不重排评估效果
evaluate(kb, cases, rerank=True) # 重排评估效果运行代码,输出如下:
Loading weights: 100%|██████████| 201/201 [00:00<00:00, 667.60it/s]
导入 4 个片段,当前共 4 个
top_k recall mrr avg_ms
1 0.250 0.500 87.6
3 0.500 0.500 76.7
5 1.000 0.625 96.1
10 1.000 0.625 95.2
top_k recall mrr avg_ms
1 0.250 0.500 127.9
3 0.500 0.250 200.5
5 1.000 0.375 231.6
10 1.000 0.375 244.9由于灌的内容太少了,效果不是很明显。