你发现没有,日常开发中,当系统查询缓慢时,大多数就是数据量上来了。
例如,新系统刚上线,数据不到一万条,查询语句不需要优化,索引都不需要创建,依然很快。当系统稳定运行一两年,数据从一万上升到百万,部分查询开始变慢了,这时候我们才会去优化。
如果系统刚刚上线,我们就做“优化”最后可能是瞎忙(系统数据量永远达不到需要优化的量级,特意去优化几乎没有收益),而且优化也不是一次完成,是一个持续的动作。
所以,系统优化的第一步永远是量,确定什么量级才去优化。
下面是我用的基准脚本(20000 条 384 维、聚类分布、带预热):
import os
import tempfile
import time
import numpy as np
import chromadb
from chromadb.api import CreateCollectionConfiguration
from chromadb.api.collection_configuration import CreateHNSWConfiguration, UpdateHNSWConfiguration, \
UpdateCollectionConfiguration
# 切换工作目录到系统临时文件夹,避免在当前项目目录生成持久化文件,测试结束自动清理
os.chdir(tempfile.mkdtemp(prefix="chroma_demo_"))
# 实例化持久化Chroma客户端,向量库数据保存在临时目录中的 ./_bench 目录
client = chromadb.PersistentClient(path="./_bench")
col = client.get_or_create_collection(
name="bench",
embedding_function=None,
configuration=CreateCollectionConfiguration(
hnsw=CreateHNSWConfiguration(
space="cosine", # 距离度量方式:余弦相似度,适合文本Embedding
ef_search=100, # 查询阶段ef值:控制召回精度与速度,越大越准、越慢
)
)
)
# ======================================================
# 使用 numpy 生成向量数据,模拟真实业务场景
# ======================================================
# 下面部是 numpy 相关的知识,后续专门教程详细介绍
# D:向量维度 384(BGE-small等轻量embedding常用维度)
# N:总样本数量20000条
D, N = 384, 20000
# 固定随机种子,保证每次运行生成的向量完全一致,方便对比基准测试结果
rng = np.random.default_rng(42)
# 模拟生成50个聚类中心点,模仿真实业务Embedding天然聚集的分布(不是完全随机均匀分布)
centers = rng.normal(size=(50, D)).astype(np.float32)
# 给20000条向量分配簇标签,每条向量归属50个簇中的某一个
labels = rng.integers(0, 50, N)
# 在簇中心点基础上叠加高斯噪声,生成带聚类特征的样本向量
X = (centers[labels] + rng.normal(scale=0.6, size=(N, D))).astype(np.float32)
# L2归一化向量,余弦相似度计算要求向量归一,消除模长影响
X /= np.linalg.norm(X, axis=1, keepdims=True)
# 生成文档唯一ID列表
ids = [f"i{i}" for i in range(N)]
# 模拟文档文本内容,增加文本长度贴近真实场景
docs = [f"文档内容 {i} " + "补充文字" * 20 for i in range(N)]
# 分批写入向量库,每批次500条,观察批量写入耗时
t0 = time.perf_counter()
for start in range(0, N, 500):
end = start + 500
# 写入:id、向量(转list,Chroma接口只接收list)、原始文档
col.add(ids=ids[start:end], embeddings=X[start:end].tolist(),
documents=docs[start:end])
print(f"写入 {N} 条/384 维/batch=500:{time.perf_counter() - t0:.2f}s")
# ======================================================
# 继续使用 numpy 生成测试查询向量
# ======================================================
# 生成200条测试查询向量,同样复用50个簇分布,和入库样本分布对齐
q = (centers[rng.integers(0, 50, 200)] + rng.normal(scale=0.6, size=(200, D))).astype(np.float32)
q /= np.linalg.norm(q, axis=1, keepdims=True)
# ======================================================
# 预热索引:先跑一批查询,消除JIT、磁盘缓存、初始化开销,保证测速数据可信
# ======================================================
for i in range(20):
col.query(query_embeddings=[q[i].tolist()], n_results=10)
# ======================================================
# 暴力KNN,计算Recall@10的真值(ground truth)
# ======================================================
# 余弦相似度 = q @ X.T (归一化后等价)
sim_matrix = q @ X.T
# 取Top10下标,axis=1:每条query找全局最相似10个样本索引
gt_top10_idx = np.argsort(-sim_matrix, axis=1)[:, :10]
# 只拿后100条query用来评测(和下面测速的query范围一致:100~199)
eval_q_slice = slice(100, 200)
gt_eval = gt_top10_idx[eval_q_slice]
# 把id字符串映射到数字索引 i0,i1...,方便对比
id2int = {f"i{idx}": idx for idx in range(N)}
# ======================================================
# 开始测试查询性能
# ======================================================
print(f"{'ef_search':>10} {'单条查询':>12} {'批量(100条)':>14} {'recall@10':>12}")
# 遍历多组ef_search参数:测试不同ef对查询延迟的影响
for ef in (16, 64, 100, 300, 800):
# 动态修改集合HNSW的ef_search(只影响查询阶段,不重建索引!)
col.modify(configuration=UpdateCollectionConfiguration(
hnsw=UpdateHNSWConfiguration(ef_search=ef)
))
# 空跑一次,让配置生效、缓存就绪
col.query(query_embeddings=[q[0].tolist()], n_results=10)
# 测试【串行单条查询】:100~199号query,逐个调用query
t0 = time.perf_counter()
for i in range(100, 200):
col.query(query_embeddings=[q[i].tolist()], n_results=10)
# 换算成每条平均毫秒
single = (time.perf_counter() - t0) * 1000 / 100
# 测试【批量查询】:一次性传入100个向量,Chroma内部批量检索
t0 = time.perf_counter()
batch_ret = col.query(query_embeddings=q[100:200].tolist(), n_results=10)
batch = (time.perf_counter() - t0) * 1000 / 100
# 计算 Recall@10 召回率
hit_total = 0
for row_idx, res_ids in enumerate(batch_ret["ids"]):
# 把返回的id字符串转为数字索引
pred_idx = np.array([id2int[rid] for rid in res_ids])
# 真值集合
gt_set = set(gt_eval[row_idx])
# 命中数量
hit = sum(1 for p in pred_idx if p in gt_set)
hit_total += hit
# Recall@10 = 总命中 / (query数量 * topk)
recall = hit_total / (100 * 10)
# 输出结果,对比串行单条 vs 批量查询的性能差距
print(f"{ef:>10} {single:>10.2f}ms {batch:>12.2f}ms {recall:>12.3f}")运行上面代码,我本机(i7/8 核/32GB)的输出:
写入 20000 条/384 维/batch=500:10.34s
ef_search 单条查询 批量(100条) recall@10
16 1.77ms 0.33ms 1.000
64 1.70ms 0.36ms 1.000
100 1.61ms 0.29ms 1.000
300 1.64ms 0.29ms 1.000
800 1.61ms 0.28ms 1.000从上面输出的这组数据能读出什么?
(1)2 万条数据下,ef_search 对延迟和召回几乎没影响。原因:数据量小时 HNSW 的搜索代价本身就很小,瓶颈在固定开销(参数校验、序列化、SQLite 查询),而不是图搜索。
(2)批量查询比单条快 5 倍左右(0.5ms vs 2.06ms),这是最实在的优化点。
(3)单条查询的 2ms 里有很大一部分是固定开销。也就是说,如果你的服务慢,先怀疑网络、序列化、embedding 计算,而不是索引。
结论:数据量在十万级以下时,别纠结索引参数。把精力放在减少往返、批量化、缓存上。